N環球 N GLOBE
美国・科技

OpenAI推药物化学基准MedChemBench 最强模型仍难选准候选药

· N GLOBE

OpenAI 11月20日推出药物化学基准测试 MedChemBench,检验 AI 模型能否像药物化学家一样推理;最强的 GPT-6.2 Astra 得 84.5%,但在挑选候选化合物与预测性质上仅约一半分数。

OpenAI 11月20日推出名为 MedChemBench 的新基准测试,用来检验 AI 模型能否像药物化学家一样推理——读懂分子结构、结合实验证据解释结果、比较化合物并预测其性质。测试结果显示,模型在「认结构」上表现出色,但在真正决定药物研发走向的「选化合物」环节仍有明显短板。

99道题 761个分子结构

MedChemBench 包含 99 道题目,取材自 117 篇已发表的论文与专利,涵盖 761 个不同的分子结构。测试评估四项能力:重建分子结构、科学推理、化合物排序与选择、数值性质预测;题目横跨七个类别,聚焦临床前药物研发,不涉及临床开发。

最强模型 84.5% 但选药仅约一半

在高推理强度(xhigh)设定下,GPT-6.2 Astra 获得 84.5% 的可用分数,领先 GPT-6 Astra 的 83.3%、GPT-6.1 Sol 的 82.0%;较旧的 GPT-5.6 Sol 仅 58.2%。细看分项:GPT-6 Astra 在重建分子结构上拿下 95.4% 的分数,但在化合物排序与选择上仅约 50.4%,数值预测约 47.0%——也就是说,模型能准确画出分子,却未必能判断哪个分子值得进一步试验。

OpenAI 自己划清界线

OpenAI 在发布中明确指出,这些分数并不能证明模型可以发现新药或改善实验室决策:题目取材自已发表的文献,不能排除模型在训练时已见过相关来源;每次回答都是一次性尝试,没有使用工具、反馈或新实验。该公司表示,MedChemBench 的价值在于诊断模型能力的进展与短板,而非证明 AI 已能取代药物研发研究。

这是 OpenAI 继 11 月 18 日公布以 AI 模型改进晶片设计之后,同一周内第二项以基准测试衡量模型专业能力的发布,也反映 AI 评测正从通用问答转向具体专业领域。

💬 留言

暂时还没有留言,来抢沙发!