MLS-Bench: A Holistic and Rigorous Assessment of AI Systems on Building Better AI
这是什么
现有 ML agent 基准(MLE-Bench、MLE-Dojo 之类)考的基本是工程:给定一个 Kaggle 式的固定任务,把数据洗好、管线调好、分数刷高。但 ML 研究的核心产出不是刷分,而是方法级的想法——一个新 loss、新优化器、新架构组件,而且必须在提出它的那个 setting 之外仍然成立。MLS-Bench(ML Science Bench)就是针对这一点设计的:每个任务锁定一个研究问题(如"预训练优化器设计""3DGS densification 策略"),给 agent 完整代码库和至少 3 个复现过的强人类基线,只允许在划定的可编辑区域内改动,然后在至少 3 个评测 setting(不同数据集/环境/模型规模)上验证泛化性。
作者是清华、Princeton、UW、Berkeley 等的联合团队(Bohan Lyu 一作,Simon Du、Max Simchowitz、Jiantao Jiao、Dawn Song、Chi Jin 压阵),2026-05 放出,持续高频维护。全量 140 任务跑一遍需 704.7 H100-hours;另有覆盖全部 12 领域的 30 任务子集 MLS-Bench-Lite(99.2 H100-hours,4 张 H100 约一天),配公开排行榜。评分做了基线锚定归一化:最差基线=0 分、最强基线=50 分,setting 内算术平均、跨 setting 几何平均——某个 setting 崩掉就整体崩,补偿不了。
主实验结论:五个前沿模型(Claude Opus 4.6 / GPT-5.4 / Gemini 3.1 Pro / DeepSeek-V3.2 / Qwen 3.6 Plus)即便把强基线实现直接放进 context、允许 20 个 action + 3 次 test 迭代,Agent 模式平均分最高也只有 36.0,全部低于 Human SOTA 的 42.6。后续分析章节进一步论证:瓶颈不只在"提出新方法",更在规划实验、验证与规模化论断所需的科学判断力——加算力、加搜索、加 context 都解决不了。
机制与做法
任务结构与"基线校准的脚手架"
每个任务由七件东西定义:研究问题、带可编辑区域标注的代码库、至少 3 个复现的强基线、至少 3 个评测 setting、多种子策略、统一评分归一化、容量预算。可编辑范围的松紧用一个双向准则确定,论文称 baseline-calibrated scaffolding:范围要恰好宽到能把该问题所有已确立的强方法都表达为编辑序列(不能误杀合法新方法),同时每个基线在这个脚手架里重新实现后必须复现其发表成绩(证明脚手架忠实还原了原问题),两条都过任务才收录。
反作弊三板斧:(1) 评测 harness 冻结,跨方法共享的训练协议超参(epoch、batch size)锁死在保护区间,只有方法自身的超参可编辑;(2) 涉及模型组件的任务有参数量预算检查,超容量的提交直接拒收——消融显示去掉这个检查后 agent 会把模型放大到基线 3 倍参数量刷分,甚至超过 Human SOTA(见 fig06);(3) 防污染:每个任务都内置了作者能复现的最强已知方法作基线,单纯背出已知方案赢不了,且主实验关闭联网搜索。
规模选择与评分
很多方法小规模有效、大规模失效,但基准又不能贵到没人跑。MLS-Bench 的原则是:任何缩减后的评测 setting 必须复现已有基线的发表排序,能用原生规模就用原生,不行才最小限度缩小。LLM 预训练任务用 345M 参数模型 + ClimbMix 数据,下游用 lm-eval-harness 测 HellaSwag/ARC-Easy/PIQA/WinoGrande。
指标归一化把最差基线锚在 0、最强基线锚在 0.5(展示为 50 分),有理论上界的指标用幂变换、没有的用 sigmoid。Human SOTA 聚合后不恒等于 50:不同基线在不同指标/setting 上各有胜负时会低于 50(实际 12 领域平均 42.6),某基线达到理论上界时映射到 100。
主结果与消融
Agent 模式(20 action、3 test)平均分:Claude Opus 4.6 36.0 > Gemini 3.1 Pro 34.9 > GPT-5.4 27.8 > DeepSeek-V3.2 26.3 > Qwen 3.6 Plus 23.2,全部低于 Human SOTA 42.6。Vanilla(首个提案)更低,最高 28.1。Lite 榜上(8 action、1 test)GPT-5.5 Pro / Claude Opus 4.7 并列 36.1 领先。
把"科学创新"提示词换成"工程优化"提示词后,较弱的模型分数明显上涨(fig05),说明它们做调参、套已知技巧比发明新方法在行——这正是 MLE 类基准和本基准测的东西不同的直接证据。OOD 分析显示强模型在迭代中 in-distribution 与 OOD 的差距会收敛,即多 setting 设计确实在筛"能迁移的方法"。
四个分析实验:瓶颈在科学判断力
Test-time scaling(多采样/多轮探索/OpenEvolve 进化搜索/TTT-Discover 测试时训练):简单任务能涨但很快饱和;在只暴露 2/3 setting 的设置下,OpenEvolve 和测试时训练都出现明显的"可见 setting 涨、隐藏 setting 跌"的过拟合(fig08)。
Verifier-limited 自适应算力分配:允许 agent 在 51M–345M 代理模型规模间自选、50 action + 20 test,自由度严格更大,结果除 GPT-5.4 外全体变差;Claude Opus 4.6 花钱最凶(近指数式消耗预算)反而输。作者结论:当前模型缺的是选择信息量大的实验、把反馈变成可规模化证据的判断力。
Context engineering(联网搜索/基线论文推导/理论教材背景)收益普遍很小,且能被普通迭代 refinement 追平——瓶颈不是缺知识,是不会用。专家评估 + 1/3-gram Jaccard 代码相似度统计(n=577)显示:agent 提交大多是把看到的基线重组后包装成"新方法",真正新颖的组件罕见且缺乏动机论证;越弱的模型分数越跟它抄的那个基线走(fig11,pooled r=+0.23, p<1e-8)。
关键结果
- 140 任务 / 12 领域,全量 704.7 H100-hours,Lite 子集 30 任务 / 99.2 H100-hours;每任务 ≥3 个复现基线 + ≥3 个评测 setting。
- Agent 模式平均分:Claude Opus 4.6 36.0、Gemini 3.1 Pro 34.9、GPT-5.4 27.8,全部低于 Human SOTA 42.6;没有一个模型可靠超过人类设计的方法。
- 去掉容量预算检查,agent 会提交最高 3 倍参数量的模型换分数,个别案例超过 Human SOTA——验证了强制 validity 检查的必要性。
- 换成工程优化提示词后弱模型分数上涨,说明现有 agent 的"调参能力"和"方法发明能力"是两回事,前者明显更强。
- 测试时优化(OpenEvolve、TTT)在部分反馈下过拟合可见 setting、隐藏 setting 性能下降;给 agent 更大实验自主权(自适应算力分配)后 5 个模型里 4 个变差。
- 代码相似度分析(n=577)证实 agent 主要在重组给它看的基线;弱模型的分数显著与其代码最像的基线分数正相关。
- 上线三个月即被 Kimi K3 技术报告(arXiv 2607.24653)和 Qwen3.8-Max 官方博客采纳为评测项;截至 2026-08 的官方 Lite 榜(Harbor + 5 小时预算)第一名 Claude Fable 5 为 49.9 分,已接近 Human SOTA 锚点。
实证核查
与我们方向的关系
对做 autoresearch 的组来说,这是目前区分"工程优化"与"方法发明"最认真的一个基准,直接回应了 MLE-Bench 一类基准测不到科学能力的批评。它的三个设计点值得抄:baseline-calibrated scaffolding(可编辑范围以"能表达所有已知强方法"为准绳并用基线复现来验收)、跨 setting 几何平均(单点崩溃无法被补偿)、容量预算检查(消融实证了不查就会被 hack)。做自动科研 agent 评测或自建任务时,这套 validity 论证方法比结论本身更有用。
它的失败分析也给 agent 方向指了路:瓶颈在实验规划与证据构建而非提出想法——自适应算力分配实验里自由度更大反而更差,这对设计 research agent 的 scaffold(要不要放开实验预算控制权)是直接的负面证据。另一个警示是 26 任务答案泄漏事件:编辑范围守卫 ≠ 运行时信息隔离,自建可执行基准时必须把 held-out 真值放到 agent 进程之外。追踪 mls-bench.com/leaderboard 也可作为前沿模型"科研能力"的持续观测点。