博客详情

与传统的基准测试不同，GeneBench-Pro 旨在评估人工智能模型在真实科研情境下的应用能力，而非仅仅考察其知识记忆或固定流程执行能力。该测试要求模型在面对“模糊、不完整，甚至混杂了干扰信息的数据环境”时，能够进行判断和分析以得出结论。

GeneBench-Pro 包含基因组学、定量生物学和转化医学等多个研究方向的测试任务。测试总计设有 129 道题目，这些题目被归类于 10 个主要领域和 21 个子领域，具体内容涵盖统计遗传学、群体遗传学、功能基因组学、蛋白质组学等。每道题目都为模型提供了一份贴近实际科研场景的数据集、一个简要的实验背景介绍，以及一个与后续决策相关的目标问题。模型需要自主完成数据探索、选择分析方法，并在过程中不断调整策略，最终给出答案。

为了解决传统长流程基准测试中常见的评分不准确问题，OpenAI 在设计 GeneBench-Pro 时主要采用了合成数据。这是因为使用历史真实数据出题时，常常存在多条有效的分析路径，可能导致模型即使采用了错误的方法也意外地得到正确答案。通过使用合成数据，OpenAI 可以完全掌控底层因果关系和数据生成过程，从而更精确地评估模型是否真正理解了问题，而非通过“走捷径”的方式得出答案。

目前，OpenAI 已在 Hugging Face 上公开了 10 道具有代表性的 GeneBench-Pro 示例题目，并提供了一个可供外部研究人员体验的交互式界面。未来，OpenAI 计划将其中的 50 道题目开放给 Artificial Analysis 进行第三方独立评估，以验证不同模型在这一基准测试中的实际表现。