相较于以往侧重于考察模型记忆能力或能否遵循既定步骤完成任务的标准测试,GeneBench-Pro 更加注重 AI 模型在实际科研场景中的应用价值。它要求模型在面对数据不明确、信息缺失甚至存在干扰的情况下,进行判断和分析以得出结论。
GeneBench-Pro 包含一系列涵盖基因组学、定量生物学和转化医学等领域的测试。该基准测试共设计了 129 道题目,分布在 10 个主要类别和 21 个子类别中,涉及统计遗传学、群体遗传学、功能基因组学、蛋白质组学等多个方面。每道题目都为模型提供了一个贴近真实研究环境的数据集,并附有简要的实验背景说明及一个与后续决策相关联的目标问题。模型需要自主完成数据探索、分析方法选择,并在过程中不断调整策略,最终给出答案。
为克服传统长流程基准测试中常见的评分不准确问题,OpenAI 在构建 GeneBench-Pro 时,将合成数据作为核心。如果直接使用过往的真实数据命题,可能会出现多条有效的分析路径,导致模型即使采用了错误的方法,也可能偶然获得正确答案。
通过使用合成数据,OpenAI 能够完全掌握数据的底层因果关系和生成过程,从而更精确地评估模型是否真正理解了问题,而非仅仅通过“走捷径”的方式得出答案。
目前,OpenAI 已在 Hugging Face 上公开了 10 道 GeneBench-Pro 的示例题目,并提供了交互式界面供外部研究人员试用。未来,官方计划将其中 50 道题目提供给 Artificial Analysis 进行第三方独立评估,以检验不同模型在该基准测试上的实际表现。