Agent Laboratory: Using LLM Agents as Research Assistants
这是什么
Agent Laboratory 是 'AI Scientist' 这一波端到端自动科研系统里走「co-pilot 路线」的代表:它不让 agent 自己想 idea,而是接收人给定的研究问题,然后跑完文献综述 → 实验 → 写报告的全流程,产出代码仓库和一篇 LaTeX 论文。系统内部按真实实验室的角色建模:PhD Student 查文献、和 Postdoc 对话定计划,ML Engineer / SW Engineer 写数据准备代码,Professor 参与写作,最后由三个 reviewer agent 模拟 NeurIPS 评审打分决定是否返工。
它与 Sakana 的 The AI Scientist 是刻意对照的两种设计:后者全自动、从选题到投稿不碰人;Agent Laboratory 在每个子任务结束处留了 checkpoint,co-pilot 模式下人可以要求某阶段带着笔记重做。论文的实验设计也偏 HCI:15 篇 autonomous 论文由 10 名 PhD 志愿者按 NeurIPS 标准打分,再让研究者亲自 co-pilot 跑自选题目并自评。2025 年 1 月挂 arXiv,后被 EMNLP 2025 Findings 接收,GitHub 5.8k stars,是这个方向被引用最多的工作之一(S2 引用数 467+)。
机制与做法
三阶段流水线与角色分工
Literature Review 阶段由 PhD agent 走 arXiv API,用 summary / full text / add paper 三个命令迭代式攒综述,攒够 N 篇后进入下一阶段。Experimentation 阶段先由 PhD 和 Postdoc 两个 agent 对话出 plan(指定模型、数据集、实验步骤),再由 ML Engineer 写数据准备代码(可用 search HF 命令搜 HuggingFace 数据集),代码过 Python 编译器检查后由 SW Engineer 提交。所有阶段的中间产物都存 checkpoint,可以断点恢复。
两种运行模式:autonomous 模式下各子任务顺序自动推进;co-pilot 模式在每个子任务末尾停下来,人审阅产物后可以选择放行,或写几句 high-level notes 让 agent 重做该阶段——比如'综述里缺某篇关键论文'、'实验要加某个技术'。
mle-solver:用 LLM reward model 做程序空间搜索
跑实验由专门模块 mle-solver 负责,本质是在程序空间做类似 Tree-of-Thoughts 的搜索:维护一个 top-scoring programs 池,每步随机采样一个程序,用 EDIT(替换指定行区间)或 REPLACE(整文件重写)生成新代码;编译失败则最多修 3 次;编译成功后交给一个 LLM reward model 打 0-1 分——评「代码和输出与 research plan 的贴合度」,而不是像 AIDE 那样直接抽取 Kaggle accuracy。无论成败都做一轮 self-reflection 喂给下次迭代。每步并行做 N 个修改、取最优替换池中最差者,防止性能漂移。
在 MLE-Bench 的一个子集(low complexity 里全部 10 个 text/tabular 任务)上单独评测 mle-solver:拿到 4 块奖牌(2 金 1 银 1 铜),6/10 任务超过人类中位数,好于 AIDE(o1-preview,2 牌)、OpenHands(2 牌)和 MLAB(0 牌)。
paper-solver 与自动评审闭环
写报告由 paper-solver 完成:先生成八段式 LaTeX 脚手架(Abstract 到 Discussion),写作中可再查 arXiv 补引用,然后用 EDIT 命令逐行改,每次改动都先过 LaTeX 编译验证。打分复用了 The AI Scientist 那套 NeurIPS 风格 automated reviewer;paper refinement 阶段由三个 reviewer agent 打分,PhD agent 据此决定终稿还是回退到 planning / experimentation 重做。
作者明确定位 paper-solver 不是替人写论文,而是生成一份「让使用者看懂 agent 做了什么」的报告——这也是他们与 AI Scientist 在叙事上的关键切割。
评估设计:自动评审 vs 真人评审
5 个预设研究问题 × 3 个 backend(gpt-4o / o1-mini / o1-preview)生成 15 篇 autonomous 论文,10 名 PhD 志愿者每人评 3 篇。最有价值的实验是把 automated reviewer 和人类打分并排:自动评审平均给 6.1/10(超过 NeurIPS 录取均分),人类只给 3.8/10,系统性高估 2.3 分。这是对「用 LLM 评审自证论文达到录取水平」这一做法(即 AI Scientist 的宣传口径)最直接的实证反驳。
关键结果
- 成本:gpt-4o backend 全流程平均 $2.33、耗时 1165 秒;o1-mini $7.51 / 3617s;o1-preview $13.10 / 6201s。对比 AI Scientist 的约 $15(同为 gpt-4o),便宜 84%——这就是摘要里 84% 降本的全部出处。
- 人类评审(NeurIPS 标准)给 autonomous 论文的 overall 均分:gpt-4o 3.5、o1-mini 3.8、o1-preview 4.0(满分 10),全部显著低于 NeurIPS 2024 录取均分 5.85;automated reviewer 却给到平均 6.1,高估 2.3 分。
- 摘要说 o1-preview 效果最好,但细看是「usefulness 4.4/5 最高」;experimental quality 最高的其实是 o1-mini(3.2/5 vs o1-preview 2.9/5),各 backend 各有短板。
- co-pilot 模式:外部评审给 co-pilot 论文 overall 4.38,比 autonomous 的 3.8 高 0.58,提升主要在 presentation/clarity;但 co-pilot 用户自评的 experiment quality 反而比 autonomous 低 0.82,作者归因于「很难让 agent 执行自己的具体设想」。
- 分阶段成功率:多数阶段 100%,但 literature review 是重灾区——gpt-4o 只有 60%、o1-mini 70%、o1-preview 80%,主要失败模式是 agent 反复刷 summarize 命令直到步数耗尽。
- 论文自报的失败模式很实在:mle-solver 会生成 exit() 杀掉整个进程(需人工检测移除)、会用 subprocess.run() 在宿主机跑系统命令(无沙箱)、有实验全程 0% accuracy 也不自纠;paper-solver 搜 arXiv 曾要试 100 次才返回结果。
- gpt-4o 论文里发现了成结果的 hallucination:一篇图像噪声论文凭空写出学习率 0.001、batch size 32、训练 50 epochs 等根本没发生的实验细节。
实证核查
与我们方向的关系
这是和 Sakana The AI Scientist 对照着读的必读件:同一年、同一个问题,一个走全自动黑盒,一个走阶段化 + 人在环。做流程编排设计时最值得抄的是它的 checkpoint 机制(每阶段产物落盘、人可带 notes 要求重做)和 mle-solver 的搜索结构(top-program pool + LLM reward + self-reflection + 批并行),后者比 AIDE 的「只认 accuracy」更适合开放式研究代码。
对课题组评估方法学的启示更大:automated reviewer 比人类评审系统性高估 2.3 分这个数,是目前反驳「LLM 评审可以替代人评」最常被引用的实证之一——以后看到任何用 GPT 打分自证「达到会议录取水平」的 AI-scientist 论文,都应该先想起这张 violin plot。另外它 co-pilot 用户自评反而更低的现象说明:人在环不是免费午餐,交互界面粗糙时人的介入甚至会拉低体感质量。