N環球 N GLOBE
美國・科技

OpenAI推藥物化學基準MedChemBench 最強模型仍難選準候選藥

· N GLOBE

OpenAI 11月20日推出藥物化學基準測試 MedChemBench,檢驗 AI 模型能否像藥物化學家一樣推理;最強的 GPT-6.2 Astra 得 84.5%,但在挑選候選化合物與預測性質上僅約一半分數。

OpenAI 11月20日推出名為 MedChemBench 的新基準測試,用來檢驗 AI 模型能否像藥物化學家一樣推理——讀懂分子結構、結合實驗證據解釋結果、比較化合物並預測其性質。測試結果顯示,模型在「認結構」上表現出色,但在真正決定藥物研發走向的「選化合物」環節仍有明顯短板。

99道題 761個分子結構

MedChemBench 包含 99 道題目,取材自 117 篇已發表的論文與專利,涵蓋 761 個不同的分子結構。測試評估四項能力:重建分子結構、科學推理、化合物排序與選擇、數值性質預測;題目橫跨七個類別,聚焦臨床前藥物研發,不涉及臨床開發。

最強模型 84.5% 但選藥僅約一半

在高推理強度(xhigh)設定下,GPT-6.2 Astra 獲得 84.5% 的可用分數,領先 GPT-6 Astra 的 83.3%、GPT-6.1 Sol 的 82.0%;較舊的 GPT-5.6 Sol 僅 58.2%。細看分項:GPT-6 Astra 在重建分子結構上拿下 95.4% 的分數,但在化合物排序與選擇上僅約 50.4%,數值預測約 47.0%——也就是說,模型能準確畫出分子,卻未必能判斷哪個分子值得進一步試驗。

OpenAI 自己劃清界線

OpenAI 在發布中明確指出,這些分數並不能證明模型可以發現新藥或改善實驗室決策:題目取材自已發表的文獻,不能排除模型在訓練時已見過相關來源;每次回答都是一次性嘗試,沒有使用工具、反饋或新實驗。該公司表示,MedChemBench 的價值在於診斷模型能力的進展與短板,而非證明 AI 已能取代藥物研發研究。

這是 OpenAI 繼 11 月 18 日公布以 AI 模型改進晶片設計之後,同一週內第二項以基準測試衡量模型專業能力的發布,也反映 AI 評測正從通用問答轉向具體專業領域。

💬 留言

暫時還沒有留言,來搶沙發!