掌握全球体育脉搏

2024年5月18日 | 0 评论 | 体育资讯

与以往主要侧重于AI模型是否记住了信息或能否遵循既定步骤完成任务的标准测试不同，GeneBench-Pro 旨在模拟真实的科研场景。该测试要求模型处理模糊、不完整甚至包含干扰信息的数据，并在此基础上进行判断和分析以得出结论。

GeneBench-Pro 涵盖了基因组学、定量生物学和转化医学等多个领域，共设置了 129 道考题。这些题目分布在 10 个主要领域和 21 个子领域内，涉及统计遗传学、群体遗传学、功能基因组学、蛋白质组学等多个方面。每道题都为模型提供了一份贴近实际科研环境的数据集，辅以简要的实验背景介绍和一个与后续决策相关的目标问题。模型需要独立完成数据探索、分析方法选择，并在此过程中不断调整策略，最终给出答案。

为了规避传统长流程基准测试中常见的评分不准确问题，OpenAI 在构建 GeneBench-Pro 时采用了合成数据。这是因为使用历史真实数据出题时，可能存在多条有效的分析路径，导致模型即使采用了错误的方法也可能偶然获得正确答案。

通过使用合成数据，OpenAI 可以完全掌控数据的底层因果关系和生成过程，从而更精确地评估模型是否真正理解了问题，而非仅仅走了捷径。

目前，OpenAI 已在 Hugging Face 上公开了 10 道 GeneBench-Pro 的示范题目，并提供了一个交互式界面供外部研究人员体验。未来，官方计划将其中 50 道题目开放给 Artificial Analysis 进行独立的第三方评估，以检验不同模型在这一基准测试中的实际性能。

开云深耕开云入口领域，用心服务每一位用户。