PaperBench: Evaluating AI's Ability to Replicate AI Research
这是什么
PaperBench 回答一个具体问题:给 AI agent 一篇最新的 ML 论文,它能不能从零把论文的实验全部复现出来?这是 OpenAI Preparedness 框架里衡量 'AI 自主做 AI 研发' 风险的核心评测之一。与 CORE-Bench(给作者仓库让 agent 跑通)不同,PaperBench 明确禁止 agent 查看论文作者的原始代码(每篇论文配 blacklist),必须自己读论文、自己写代码、自己跑实验。
数据集是 20 篇 ICML 2024 Spotlight/Oral 论文(涵盖 Deep RL、robustness、概率方法等),每篇配一棵评分树(rubric),全部 20 棵树共 8,316 个可判分的叶节点。每棵 rubric 由 OpenAI 和该论文的原作者共同编写,单篇要花数周(读论文、初版、review、迭代、签字确认)——这也是论文自己承认的最大瓶颈:rubric 制作极度费人力,难以规模化。
结论层面它是一盆冷水:2025 年初的最强模型在 12 小时限制下平均复现分只有 21%,而且失败方式很初级——大多数模型跑了一会就宣布'做完了'提前退出,没有一个模型会规划如何用满可用时间。
机制与做法
任务设置:submission 必须能在干净机器上重跑
agent(candidate)拿到论文 PDF/Markdown 和一份作者澄清事项(addendum),要产出一个代码仓库,根目录必须有 reproduce.sh 作为复现入口。评分前有独立的 reproduction 阶段:把 submission 拷贝到一台全新的 Ubuntu 24.04 + A10 GPU 虚拟机上执行 reproduce.sh(实验中限 12 小时),生成的结果文件和 reproduce.log 才算数。这个设计把 'agent 在自己环境里硬编码结果' 和 '真正可复现' 区分开。
规则上不限制 agent 的运行时间和算力,可以上网(但 blacklist 禁止访问作者原始仓库和其他在线复现),平台方提供 HuggingFace 和 OpenAI API key。OpenAI 用一个事后 monitor 扫日志查违规:646 次 run 里抓到 10 次使用 blacklist 资源,判零分。
评分树:三类叶节点 + 加权向上传播
每棵 rubric 是一棵树,从根节点('论文核心贡献已被复现')逐层分解到叶节点,每个叶节点是一条 15 分钟内可人工核查的二值判据,节点间有人工设定的重要性权重。叶节点判 0/1 后按权重逐层加权平均传到根,根节点分数就是 Replication Score。
叶节点分三类:Result Match(复现结果数值是否对上,只看 reproduce 产物)、Execution(reproduce.sh 是否真的执行出了某个中间结果)、Code Development(源码里是否写出了正确实现)。后两类的作用是给部分进展发分,避免全有全无。判每类节点时给 judge 看的文件不同,例如 Result Match 不给看源码,防止 judge 被代码'看起来对'骗过。
另外发布了便宜版 PaperBench Code-Dev:跳过 reproduction,只判 Code Development 节点,不需要 GPU,判分成本降约 85%(o3-mini judge 从 $66 降到 $10/篇)。但论文自己承认它与完整版相关性弱(o1 上 Pearson r=0.48),只能当噪声很大的初筛。
SimpleJudge + JudgeEval:用 LLM 判分,再给 judge 建个基准
人工判一份 submission 要几十小时,所以实用上必须自动化。SimpleJudge 对每个叶节点独立判分:给 judge 看论文全文、完整 rubric JSON、该叶节点判据和 submission(代码库太长时让 judge 先按相关性排序文件,只取 top-10 进上下文)。默认后端 o3-mini(reasoning_effort=high),判一份 submission 约花 5000 万输入 token、$66。
为了知道 judge 靠不靠谱,他们做了配套基准 JudgeEval:拿 5 篇论文的部分复现(从零写的或改作者代码库得到的)人工逐叶节点打分作 ground truth,然后测各模型 judge 的二分类指标。结果 o3-mini F1 0.83($66/篇)最划算,o1 F1 0.84 但要 $830/篇。注意反过来读:即使最好的 judge,叶节点级别也有约 17% 的判错率,且 JudgeEval 本身只覆盖 5 篇论文。
实验:scaffold 影响大到能改变模型排名
主实验用 BasicAgent(Inspect AI 的基础 tool-use 循环:bash、Python、浏览器、分页读文件),每模型每论文 3 次 run,12 小时上限。结果 Claude 3.5 Sonnet (New) 21.0% 明显领先,o1 只有 13.2%,其余(GPT-4o、Gemini 2.0 Flash、o3-mini、DeepSeek-R1)都在 10% 以下。日志分析显示除 Claude 外所有模型都频繁提前收工。
换成 IterativeAgent(禁止提前结束 + 催促分步工作的 prompt)后排名反转:o1 从 13.2% 升到 24.4%(36 小时给到 26.0%),o3-mini 从 2.6% 升到 8.5%,但 Claude 3.5 反而从 21.0% 掉到 16.1%。作者承认这套 prompt 调优偏向 o 系列模型——同一模型的分数能被 scaffold 拉动近一倍,读这个榜时要小心。
人类基线:8 名 ML PhD(Berkeley、CMU、Cambridge 等,过了简历筛 + 技术测试),在 4 篇子集上每篇 3 人独立尝试。o1 第 1 小时就冲到人类几小时后才达到的分数,但之后基本平台化;人类前几小时在读论文,分数慢热,24 小时后反超,48 小时时最好的论文做到约 40-48%。这与 RE-Bench 观察到的 'agent 短跑赢、长跑输' 一致。
关键结果
- 主榜(BasicAgent,12h,3 runs/paper):Claude 3.5 Sonnet (New) 21.0±0.8% > o1 13.2±0.3% > DeepSeek-R1 6.0% > GPT-4o 4.1% > Gemini 2.0 Flash 3.2% > o3-mini 2.6%。
- IterativeAgent(不许提前退出)让 o1 升到 24.4±0.7%(36h 上限 26.0%),却让 Claude 3.5 降到 16.1%——scaffold/prompt 能把分数拉动近一倍并改变排名。
- 人类基线(8 名 ML PhD、4 篇子集、best@3):o1 前 1 小时领先,之后平台化;人类 24 小时后反超,48 小时最好单篇约 48%。没有模型超过人类。
- agent 写出的 reproduce.sh 平均只运行 5.5 分钟(上限 12 小时)——所谓'复现'大多根本没跑真实规模的实验。
- SimpleJudge(o3-mini)在 JudgeEval 上 F1 0.83、$66/篇;人类专家判一篇要几十小时。o1 judge F1 0.84 但 $830/篇。
- 跑一次完整评测的量级:o1 IterativeAgent 约 $400/篇 × 20 篇 = $8,000 API 费,外加判分 $66×20;Code-Dev 版无需 GPU、判分 $10/篇,但与完整版相关性只有 r=0.48。
- 646 次 run 中查获 10 次使用 blacklist 资源(作者原仓库等),判零分——说明 agent 作弊/走捷径是真实发生的,需要 monitor。
- 后续跟踪:GPT-5 system card(2025-08)只在 10 篇子集(外部数据 <10GB)、禁浏览的设定下报 gpt-5-thinking 约 24%,与原榜口径不可直接比较。
实证核查
与我们方向的关系
对 autoresearch 方向,PaperBench 是'AI 能否独立完成 ML 研究执行环节'目前最严格的公开测量:它测的不是想 idea(那是 AI Scientist 一类的地盘),而是读懂论文→写全代码→跑通实验这条最重的执行链。21% 的最好成绩和 'reproduce.sh 平均只跑 5.5 分钟' 这两个数字,是评估当前 agent 真实研究能力时最值得引用的锚点——比任何 demo 都能说明差距在哪(长程执行与时间规划,而非写代码本身)。
方法学上最可借鉴的是 rubric-tree 评分:把'复现一篇论文'这种无法端到端打分的任务,分解成上千个 15 分钟内可核查的二值叶节点,加权传播出连续分数,并用 JudgeEval 单独校准 judge 的可靠性。我们自己评测 research agent 时可以直接套这个模式(以及它的教训:rubric 每篇要专家数周,需要探索模型辅助生成;scaffold 对分数影响大到能翻转排名,报数时必须固定并公开 scaffold)。想低成本上手可从 Code-Dev 版或 inspect_evals 的移植入手。