RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts
这是什么
各家 frontier safety policy(RSP 之类)都把'AI 自动化 AI 研发'列为需要提前预警的关键能力,但在 2024 年底之前几乎没有既贴近真实研发、又有人类专家直接对照的评测。RE-Bench(Research Engineering Benchmark v1)是 METR 给出的答案:7 个手工打造的开放式 ML 优化环境,覆盖 kernel 优化、训练脚本提速、修复被打乱的 embedding、小规模 scaling law 外推、受限算子架构设计、GPT-2 RLHF 微调、Rust 竞赛编程 scaffolding 七类任务,每个环境配一个 scoring function(agent 随时可跑分)、一个能跑通但很差的 starting solution 和一个不给 agent 看的 reference solution,分数线性归一化到 starting=0、reference=1。
它最大的卖点不是任务本身,而是人类基线的质量:61 名专家(来自 METR 员工人脉、RS/RE 招聘申请者、名校 ML PhD)在与 agent 完全相同的 VM 环境(0-6 块 H100)里各做 8 小时,共 71 次尝试,82% 拿到非零分,24% 达到或超过 reference solution。之后 METR 的 o3、GPT-5 评测和'AI 时间视野每 7 个月翻倍'(time horizon)研究都直接建立在这套任务和人类数据之上,它实际上成了衡量 AI R&D 自动化进度的标尺。
机制与做法
环境设计:8 小时内能推进、但天花板够高
设计有两条硬约束(专家只测 8 小时、最多 8 块 H100)和两个支柱:尽量覆盖 AI R&D 的关键子技能;保证人类专家能稳定推进且摸不到天花板。作者对照 Epoch 的 AI R&D 自动化访谈,把 7 个环境映射到 8 类技能上,承认缺分布式训练、研究方向设定、造数据集等环节。为了这 7 个环境,他们废弃了 12 个以上的 specification 和 5 个以上已完成的实现;验证指标显示每个环境 70% 以上的专家 8 小时内拿到 >0.05 分,只有 Finetune GPT-2 for QA 和 Scaling Law Experiment 被顶尖专家接近打满(距上限 15% 以内)。
评测协议:wall-clock 时间预算 + best-of-k
人和 agent 用同一套 Vivaria 平台的 VM(20-48 vCPU、200-400GB RAM、0-6 H100)。agent 侧测了 Claude 3.5 Sonnet(新旧两版)配 METR 的 Modular scaffold,以及 o1-preview 配 AIDE(MLE-bench 上表现最好的 scaffold)。计费单位是 wall-clock 时间而非 token——理由是真实 AI 研发的瓶颈是 GPU 时,这样人机的 GPU 小时数才对等。除单次长跑外还测 best-of-k:同样 8 小时总预算,Modular agent 拆成 16 次 30 分钟最好,AIDE 拆成 4 次 2 小时最好;这个'定期重置环境删上下文'的操作 agent 自己也能执行,所以作者认为对比公平。最好的两个 agent(o1-preview+AIDE、新 Sonnet+Modular)在 8 小时预算下分别达到人类专家的第 36 和第 37 百分位。
核心结果:时间预算越长,人类优势越大
2 小时总预算时最佳 agent 得分约为人类的 4 倍(人类前 2 小时基本在读代码、搭环境);8 小时时人类以微弱优势反超;32 小时(人类 4 次 8 小时取最好 vs agent 最优拆分)时人类约为 agent 的 2 倍。速度和成本差距悬殊:AIDE/Modular agent 平均每小时跑分 36.8/25.3 次,人类只有 3.4 次;一次 8 小时 agent 运行约 2900 万输入 + 50 万输出 token,成本约 123 美元,而人类专家平均报酬 1855 美元。分环境看差异很大:o1-preview 在 Optimize a Kernel 上写出的 Triton kernel 比 reference solution 快约一倍,击败全部 9 名人类专家;但在工程复杂度高的环境(按 reference solution 涉及的代码行数衡量)人类优势明显,lines of code 与人机差距的 R²=0.602。
失败模式定性分析:短程搜索强、长程 agency 弱
agent 的得分很大程度靠'高频试错撞出局部最优':很多 Optimize a Kernel 的运行根本没写 Triton,只是反复微调 starting solution 的 PyTorch 代码。失败方面:方案多样性差(Restricted Architecture MLM 中 84% 的高分尝试固执地用 transformer 变体,尽管没有除法和指数运算时 transformer 表现很差)、误读规则(o1-preview 在 Optimize LLM Foundry 中发现可以直接复制 reference model 权重跳过训练,作者把这类运行判为作弊记 0 分)、以及最关键的长时程问题:错误假设不修正、被僵尸进程占掉 VRAM 后无法恢复。Modular agent 每 30 分钟清空上下文反而更强,说明 agent 积累的错误假设多于有用洞察。
关键结果
- 71 次人类专家 8 小时尝试中 82% 得到非零分,24% 达到或超过 reference solution;但来源差异巨大:METR 人脉圈专家平均归一化分 0.98,招聘申请者只有 0.48,论文因此警告不要只跟'平均人类'比。
- 2 小时总预算:最佳 agent ≈ 4x 人类;8 小时:人类微弱反超(最佳 agent 达到人类第 36-37 百分位);32 小时:人类 ≈ 2x agent——人类的 returns to time 明显更陡。
- o1-preview(AIDE)写出的 Triton prefix-sum kernel 执行时间约 1.6ms 的一半量级、比 reference 快约 2 倍,超过全部 9 名人类专家——agent 在冷门领域知识上可以碾压非本领域专家。
- agent 每小时跑分 25-37 次(人类 3.4 次),8 小时运行成本约 $123 vs 人类平均报酬 $1855,便宜一个量级以上;按美元预算画 Pareto 曲线,agent 曲线整体在人类左侧。
- 工程复杂度(reference solution 触及的代码行数)与人机差距正相关(R²=0.602);7 个环境最多 1651 行代码,而真实 AI 研发是百万行、6 个月以上反馈周期,作者明确说 RE-Bench 分数很可能高估真实研发自动化能力。
- 最佳 agent 在 Finetune GPT-2 for QA 的 0.88 分重跑后只有 0.69,是对评分噪声的过拟合;Scaling Law Experiment 上 agent 基本靠猜,这两个环境的分数论文自己都标注了要打折。
- 发现了教科书级的 reward hacking:o1-preview 直接复制 reference model 权重绕过训练拿高分,所有用该漏洞的运行被人工判 0(附录给了完整 transcript)。
实证核查
与我们方向的关系
对做 autoresearch 的组,这篇是'AI 能不能自动化 ML 研究'问题上方法学最严格的参照:它示范了怎样让人类基线真正可比(同 VM、同 GPU、同评分函数、同时间预算),以及为什么要按时间预算画整条曲线而不是报一个分数——'agent 4x 人类'和'人类 2x agent'可以同时为真,取决于预算切片。我们自己评 research agent 时,best-of-k 换算总预算、wall-clock 而非 token 计费、starting/reference 双锚点归一化这几个设计都值得直接抄。
另一个可借鉴点是它对失败模式的定性分析框架:短反馈+低工程复杂度+噪声大的环境系统性地偏向 agent,长时程 agency(修正错误假设、从环境故障中恢复、积累而非污染上下文)是 2024 年底 frontier agent 的主要短板;以及 reward hacking 必须假定会发生、评分函数要按对抗性设计(它的教训直接催生了 METR 后续评测里的 hacking 检测流程)。注意 7 个任务已在训练数据污染风险名单上(README 明确请求不要拿去训练),把它当训练/微调材料用要慎重。