EXP-Bench: Can AI Conduct AI Research Experiments?
这是什么
AutoResearch 方向的评测大多只测流水线的某一环:文献综述、想 idea、写代码、复现论文。EXP-Bench(Michigan 系,与 Curie agent 同一团队,后发表于 ICLR 2026)瞄准的是中间最硬的一环——'给定研究问题,把实验从头做到尾':agent 拿到一个具体的 research question、一段 high-level method 描述和一个被部分 mask 的真实论文代码库,需要产出结构化的实验设计、代码修改(以 git diff 形式提取)、真正跑起来并给出回答研究问题的结论。
任务不是人造题,而是从 51 篇有影响力的论文(NeurIPS 2024 占 53%、ICLR 2024 占 47%,按引用数和 repo 活跃度筛选)中抽出的 461 个真实实验,覆盖 Deep Learning、RL、CV、NLP、Time Series 等约 18 个类别,进一步拆成 12,737 个可单独打分的 subtask。例如从 MogaNet 论文中抽出'MogaNet 在 ImageNet-1K 上是否优于同量级轻量模型'这样的问题,ground truth 直接对齐原始代码里的训练脚本。
结论很刺眼:即使是表现最好的 OpenHands + o3-mini,设计/实现/结论三项全对的任务只有 1.4%,再要求代码真的可执行则跌到 0.5%。作者把 3,238 条错误分析归纳成 361 类失败模式,给出了'AI 现在到底卡在哪'的细粒度地图。
机制与做法
任务形式:输入-输出-判分三元组
每个任务给 agent 三样东西:(1) research question(如'PPO 和 Q-Learning 在 SMAX 环境里训练时间和归一化分数如何比较');(2) high-level method(实验思路,但不含具体解法);(3) 原论文代码库——其中能直接给出答案的脚本和根目录 README 会被 git 操作(含递归 submodule)mask 掉,防止抄答案。agent 需要输出实验设计(变量、流程)、代码修改(自动构建 git diff)和最终结论。
Ground truth 三件套全部来自原论文和原代码:设计要点清单、逐步实现需求(由 AST 追踪已验证脚本链生成的自然语言步骤,精确到文件和行号)、以及论文报告的实验结论。评测在干净的 Docker 容器(Ubuntu 24.04 + 4×A40 GPU)内进行,每任务限时 40 分钟。
半自动构建流水线:三阶段,机器抽取 + 轻量人工核对
Stage 1 选源:从顶会论文中按引用数、GitHub stars/forks 筛出带开源代码的工作。Stage 2 抽取:先对论文 PDF 做 OCR + 多模态索引,多轮 RAG 式查询抽出 research question / method / expected outcome;再让一个带终端和 PDF 阅读能力的 agent 在代码库里做目标条件搜索,定位实现该实验的脚本链,跑通后用 AST 追踪生成逐步实现需求。Stage 3 验证:脚本链在干净容器里执行,输出对得上论文才算数,失败则打回 Stage 2 迭代;最后人工核对结构化内容。
成本账很具体:流水线成熟后人工验证降到每篇论文约 20 分钟(之前约 2 小时),LLM 抽取成本平均每篇约 $60(o3-mini 抽任务 + Claude 3.7 Sonnet 抽实现)。这是它能扩到 51 篇/461 任务而 PaperBench 只有 20 篇的原因——人只做核对,不做从零复现。
评测判官:Monitor + LLM judge + 真实执行
打分分三层。先由 Monitor 查作弊:是否直接打开了论文 PDF、是否 git checkout 回含答案的 commit、是否用假数据/硬编码结果冒充实验产出(记 M 指标)。然后 o3-mini 作为 LLM judge 对照 ground truth 给出 D(设计正确率)、I(实现需求满足比例)、C(结论正确性)。最后 Code Execution Validator 在等价容器里真跑 agent 的代码改动,得出可执行性 E。
论文自己承认单项指标不可靠:C 方差大(agent 会编出貌似合理但没有实验支撑的结论)、E 会高估(mock 实现也能跑通),所以主推 conjunctive 指标(C·D、I·E、All·E)。这个'合取指标才见真相'的设计是全文方法论上最值得借鉴的一点。
失败模式分析:39.7% 是'漏掉关键实现组件'
对全部评测 trace 做两轮开放式归纳,3,238 条原始错误洞察压成 361 类。实现阶段最大头是 Missing Essential Implementation Components(39.71%),如漏掉 Mixup/CutMix/Label Smoothing 等增强、漏掉语义检索策略;执行阶段是环境/依赖配置错误(29.38%,如 PyTorch/Flax 缺失、环境未注册)和脚本/文件错误(23.84%,如 timm 里找不到 moganet_tiny、checkpoint 缺失);结论阶段 26.18% 干脆缺结论内容、19.66% 解读错误。整体画像:agent 能写出'看起来像那么回事'的代码和结论,但在把抽象需求落成完整可复现实验的每一步都在掉链子。
关键结果
- 最好的组合 OpenHands + o3-mini:设计 D 18.4%、实现 I 20.3%、结论 C 21.0%,三项全对 All✓ 仅 1.4%,加上可执行要求 All·E✓ 仅 0.5%;OH + Claude 3.7 Sonnet 的 I(35.0%)和 I·E(14.9%)最高但 All·E 只有 0.4%。
- 合取指标逐层塌缩:只查作弊 Monitor 通过率 20.6% → 加结论+设计正确 3.7% → 加实现正确 0.4% → 加可执行 0.2%。单项分数会严重高估 agent 能力。
- IterativeAgent 普遍不如 OpenHands:IA + Nova Pro 设计分只有 0.1%、结论 0.3%;IA 倾向耗满 40 分钟时限却低效,OH 则常提前停止甚至 mock 数据下结论。
- 成本与能力几乎不相关:OH + o3-mini 平均每任务约 $0.5 / 25 分钟拿第 1 名,OH + 3.7 Sonnet 约 $10 / 33 分钟只排第 2。
- 分类别看 RL 最'容易':OH + 3.7 Sonnet 在 RL 类的 I 达 48.2%、I·E 21.2%,显著高于其他类别(多数指标 <30%)。
- 失败模式:实现阶段 39.71% 漏关键组件;执行阶段 29.38% 环境/依赖错误 + 23.84% 脚本文件错误;结论阶段 26.18% 缺内容、19.66% 解读错。
- DeepSeek R1 表现意外差(D 6.8% / I 10.0% / E 0.7%),说明纯推理强的模型未必会做工程落地。
实证核查
与我们方向的关系
对 autoresearch 方向这是一块必须踩的基石:它把'做实验'拆成 design/implementation/execution/conclusion 四个可分别打分的阶段,并用合取指标暴露'单项分数好看、端到端全崩'的假象——这套评测方法论(Monitor 防作弊 + LLM judge 部分分 + 真实执行验证 + conjunctive scoring)比它的具体数字更值得搬走。做 research agent 的同学可以直接用它的 461 个任务当训练/评测材料,失败模式表(361 类)就是现成的改进 checklist:优先解决环境配置和'漏关键组件'两类问题,收益最大。
读数字时注意时效:被测的是 2025 年初的 OpenHands + o3-mini/Claude 3.7 一代,40 分钟限时也偏紧,今天的前沿模型 + 更长预算下 0.5% 大概率被显著刷新(这正是 benchmark 设计目的)。另外它与同团队的 Curie agent、OpenAI 的 PaperBench 构成一个谱系:PaperBench 测'复现整篇论文',EXP-Bench 测'做单个实验',粒度更细、ground truth 更硬(对齐原代码而非评审 rubric),两者对照读收获更大。