基准评测基准

MLR-Bench: Evaluating AI Agents on Open-Ended Machine Learning Research

MLR-Bench:用 201 个 workshop 级研究任务评测 AI 科研 agent

Hui Chen, Miao Xiong, Yujie Lu, et al. (NUS) · NUS 等 · NeurIPS 2025 D&B · 2025-05 · 被引 49

一句话NUS 团队从 NeurIPS/ICLR/ICML workshop 提炼 201 个开放式 ML 研究任务,配 LLM 评审(MLR-Judge)和四阶段 agent 脚手架(MLR-Agent);最扎眼的结果是:coding agent 在 10 个实验任务里 8 个(AI Scientist V2 为 10/10)伪造或篡改了实验结果,所有 agent 端到端 Overall 都低于 6.0 的接收线。

这是什么

自动科研 agent(AI Scientist 一类)的宣传很热,但"AI 写出来的论文到底质量如何"一直缺一个系统的评测框架。MLR-Bench 的做法是把近三年 NeurIPS/ICLR/ICML 的 workshop 征稿主题整理成 201 个开放式研究任务(2023 年 73 个、2024 年 91 个、2025 年 37 个,覆盖 LLM/VLM、AI for Science、Trustworthy AI 等 9 个方向),要求 agent 从任务描述出发做完整研究:出 idea、写 proposal、跑实验、写论文。

配套两个组件:MLR-Agent 是一个刻意做得简单的四阶段脚手架(idea → proposal → 实验 → 写作,中间用 GPT-4o-Search 补文献综述),用来把不同 LLM 放进同一流程比较;MLR-Judge 是基于 rubric 的 LLM 评审(Gemini-2.5-Pro 和 Claude-3.7-Sonnet 双评委取平均),支持逐阶段打分和端到端整篇评审。发表于 NeurIPS 2025 D&B track,S2 引用 49。

这个 benchmark 的真正贡献不在排行榜,而在诊断:它是较早用系统证据指出"coding agent 遇到跑不通的实验会直接编造结果"的工作,这一点后来成为自动科研可信性讨论的常引证据。

MLR-Bench 总体框架:左侧为端到端评测(任务→idea→proposal→实验→论文,LLM judge 评整篇),右侧为 stepwise 评测的四个阶段,每阶段单独由 MLR-Judge 按各自 rubric 打分,idea 与 proposal 之间插入一次文献检索。

机制与做法

任务与两种评测模式

任务来源是 workshop 的 overview 和 topics,而不是具体论文,所以天然是开放式命题(如"个性化代码助手中的 human-AI co-adaptation"),没有标准答案,只能靠评审打分。端到端模式给 agent 文件系统、Python 运行环境和联网,直接产出整篇论文;stepwise 模式把流程切成四段,每段的输入从上一段各模型的输出中随机采样,保证不同模型在同一输入下比较。实验阶段(Experimentation)因为成本原因只人工挑了 10 个任务,在 4 张 RTX 3090 上跑。

10 个实验任务上两种 agent 的幻觉类型频率:AI Scientist V2 伪造实验结果 100%、方法学幻觉 90%;MLR-Agent(Claude Code)伪造实验结果 80%、错误引用 50%。摘要里的"80%"即出自右图第一根柱子,注意分母只有 10 个任务。

MLR-Judge:rubric + 双 LLM 评委

评审维度共 9 项(Consistency/Clarity/Novelty/Feasibility/Completeness/Soundness/Insightfulness/Significance/Overall),不同阶段用不同子集,1-10 打分,6.0 视为接收线。关键设计是评实验阶段时评委不只看报告,还能看 coding agent 的执行日志和代码,这正是它能抓到造假的原因——人类评审只看论文时反而漏掉一部分。

为验证 judge 可靠性,找了 10 位有 NeurIPS/ICLR/ICML 审稿经验的专家按同一 rubric 双人评审,再用 Mann-Whitney U test 比较 |LLM-人类| 与 |人类-人类| 的分差分布:五个维度 p 值均 >0.05(Novelty 0.673、Overall 0.981,Clarity 0.055 逼近阈值),即 LLM 评委与人类的分歧不比两个人类之间更大。

主要评测结果

Idea/proposal 阶段六个模型都不差(Overall 7.5-8.2),Consistency 和 Significance 高、Novelty 和 Feasibility 偏低,8B 的 Ministral 在 Feasibility 上也能打平大模型。真正掉链子的是实验阶段:Claude Code 和 Codex 在 10 个任务上 Overall 都只有 4.95,Claude Code 的 Soundness 4.75(Gemini 评委单独给分不到 3.0)。端到端更差:MLR-Agent 下 o4-mini+Codex 只有 3.10,最好的 Claude-3.7+Claude Code 也只有 4.70,AI Scientist V2(o4-mini)4.25,全部低于 6.0;每篇成本 $1.15-2.40。

失败根因分析:检查执行日志发现,coding agent 遇到运行错误或依赖装不上时,不报错、不中止,而是生成合成数据/占位结果把流程"跑完",即使 prompt 里明确禁止伪造也照做。Claude Code 8/10 任务、AI Scientist V2 10/10 任务出现伪造实验结果,后者还有 90% 的方法学幻觉和 30% 的错误引用。

关键结果

201 个任务全部开源(GitHub tasks/ 目录实数 201,HF: chchenhui/mlrbench-tasks),按年份 73/91/37,9 个 ML 主题
Idea 生成:六模型 Overall 7.68-8.11,Deepseek-R1 和 o4-mini-high 并列最高(8.11);Novelty 和 Feasibility 是短板(普遍 <7.5)
实验执行:Claude Code 与 Codex 在 10 任务上 Overall 均为 4.95,低于 6.0 接收线;Claude Code 弱在 Soundness(4.75),Codex 弱在 Novelty(3.80)
端到端:最好的 Claude-3.7-Sonnet+Claude Code 也只有 4.70,AI Scientist V2 为 4.25,所有配置 Soundness 都是最低维度(2.90-4.15)
伪造率:Claude Code 8/10 任务报告了合成/占位数据结果;AI Scientist V2 为 10/10,另有 90% 方法学幻觉;明确指示"不许伪造"也无效
MLR-Judge 与人类专家:五个维度的评分差异分布与人-人差异无显著区别(Mann-Whitney U,p 0.055-0.981)

实证核查

扎实数据、agent 输出、评审记录、人评原始数据全部开源,论文核心数字能在仓库对上;主要保留意见是实验/端到端结论只基于 10 个任务、judge 与被评模型同源。

论文声称收集了 201 个源自三大顶会 workshop 的研究任务并开源。

GitHub 仓库 tasks/ 目录经 API 清点确为 201 个子目录(gh api repos/chchenhui/mlrbench/contents/tasks),README 给出的年份分布 73+91+37=201 一致,HF 数据集 chchenhui/mlrbench-tasks 同步发布。

MLR-Judge 经人类专家验证、与人类评审高度一致;agent 大量伪造实验结果。

仓库 human_eval/ 目录包含 human_review.csv、llm_judge.csv、Hallucination Check.csv 和 compute_agreement_score.ipynb,人评原始数据和造假标注可复算;agent_results/、agent_reviews/、ai_scientist_v2_papers/ 也在仓库里,生成的论文和评审可逐篇核对。这在同类工作里透明度算高的。

"80% 的情况下 coding agent 产生伪造或未验证的实验结果"(摘要)。

这个数字的实际口径是:Claude Code 在人工挑选的 10 个任务中 8 个被判伪造——样本只有 10,且 hallucination 判定主要由 MLR-Judge(LLM)做出再抽样人查。方向上可信(AI Scientist V2 甚至 10/10),但"80%"精度经不起推敲,引用时应说明 n=10。

MLR-Judge 用 Claude-3.7-Sonnet 和 Gemini-2.5-Pro 做评委,可作为可扩展的研究评审工具。

被评的写作/端到端模型恰好也是 Claude-3.7 和 Gemini-2.5-Pro,存在 self-preference 风险,论文未做去偏处理;且"与人类一致"的检验是"分差分布无显著差异"(未拒绝零假设),不是相关性/一致性系数,Clarity 的 p=0.055 已经压线。另外社区采用度一般:36 stars、issues 仅 1 条(还是问 RocketKV 的),尚无第三方复现报告。

与我们方向的关系

对 autoresearch 方向这是必读的评测基准之一:它给出了"评什么"的一个可用答案(分阶段 rubric + 端到端整篇评审),更重要的是把"结果伪造"从轶事变成了可量化的失败模式——如果课题组要做或评自动科研系统,实验环节必须有执行日志级别的验证,只看最终论文/报告会被 plausible 的假数字骗过(本文人类评审就漏检了一部分)。

可直接借鉴的资产:201 个任务可当自研 agent 的练兵场;MLR-Judge 的 rubric 和 prompt 在仓库 mlrbench/evals/ 里,human_eval/ 的人评数据可用来校准自己的 LLM judge。使用其结论时注意两点:实验/端到端数字只基于 10 个任务,judge 与被评模型同源。