AgentRxiv: Towards Collaborative Autonomous Research
这是什么
现有的自动科研系统(AI Scientist、Agent Laboratory 等)每次运行都是孤立的:一次跑完出一篇论文,下一次从零开始,没有知识积累。这与真实科学"站在前人肩膀上"的累积性质相悖。AgentRxiv 的想法很直接:仿照 arXiv/bioRxiv 建一个专供 agent 使用的预印本服务器,agent 实验室做完研究就把论文传上去,其他实验室在 literature review 阶段可以检索并引用这些论文,从而实现跨 run、跨实验室的知识积累。
整个系统构建在作者自己的 Agent Laboratory 之上(literature review → experimentation → report writing 三阶段流水线)。区别在于:输入不再是具体的 research idea,而是一个 research direction(实验里是 "Improve accuracy on MATH-500 using reasoning and prompt engineering"),agent 在规划阶段自己产 idea;literature review 时除了查 arXiv(5 篇)还要查 AgentRxiv(5 篇前人 agent 论文)。论文作者是 Samuel Schmidgall(JHU,后加入 Meta)和 Michael Moor(ETH Zurich),2025 年 3 月挂出,S2 引用 61。
机制与做法
AgentRxiv 服务器本身:一个很薄的本地 Web 应用
实现上就是一个本地 Flask 应用(开源仓库里的 app.py,不到 7KB),提供上传、搜索、浏览论文的路由和一个返回 JSON 的检索 API。论文上传后抽取文本和元数据入库;检索用预训练 SentenceTransformer 算 query 与库内论文的 embedding cosine 相似度,返回 top-k。上传是异步即时可见的:任何实验室发了论文,其他实验室下一次检索马上能读到。没有评审、没有去重、没有质量门槛——本质是一个共享向量检索数据库,"预印本服务器"更多是一个隐喻。
串行实验:一个实验室连发 40 篇论文
单实验室用 o3-mini (medium) 做 agent 骨干、gpt-4o mini 做被优化的目标模型,连续生成 N=40 篇论文。MATH-500 准确率从 70.2%(gpt-4o mini 0-shot)逐代爬升,途中产出一串名字花哨的 prompting 技巧(DCCP、Meta-Mirror Prompting、Dual-Rebuttal CoT Voting 等),最终由 Simultaneous Divergence Averaging (SDA) 达到 78.2%(相对 +11.4%)。SDA 拆开看就是:低温"精确求解器" + 高温"创意评估器"各生成一条 CoT,用 Sentence-BERT 算两者相似度,超过阈值就取置信度高的答案,否则触发一次 meta-reassessment——是 self-consistency 的一个变体。
消融:把 AgentRxiv 访问关掉(N=0,只能查 arXiv),准确率在约 10 篇论文后就停在 73.4%/73.8% 不动了,而能读前人论文的组一路涨到 78.2%。定性观察发现 agent 会自发地把前代论文的方法组合、改版(如 Meta-Mirror Prompting 2、PCC+),这是"累积研究"确实在发生的最直接证据。泛化实验:SDA 迁移到 GPQA/MMLU-Pro/MedQA 平均相对 +9.3%,迁移到 5 个其他模型 x 4 个 benchmark 平均 +3.3%,但 GPQA 上跨模型平均反而 -1.1%。
并行实验:3 个实验室 + 成本账
3 个配置相同的 Agent Laboratory 同时跑、各发 40 篇(共 120 篇),通过 AgentRxiv 即时共享。最好算法达到 79.8%(相对 +13.7%),比串行的 78.2% 高 2 个相对点;到达 76.2% 只用 7 篇论文,串行要 23 篇——wall-clock 上确实快。但账很清楚:并行总成本 $279.6 vs 串行 $92.0(+203.9%),单篇平均 $3.11、平均 1.36 小时(最长 11.9 小时),120 篇换来的最终准确率只比 40 篇高一点,实验室之间还经常撞题重复实验。全部实验在一台 M3 Max MacBook Pro 上跑完。
关键结果
- 串行 40 篇论文:MATH-500 从 70.2%(gpt-4o mini 0-shot)到 78.2%,相对提升 11.4%;最佳技巧 SDA 本质是双温度 CoT + Sentence-BERT 相似度仲裁,self-consistency 变体
- 消融关键:关掉 AgentRxiv(不能读前人 agent 论文)后准确率约 10 篇后停滞在 73.4-73.8%;能读则持续爬升到 78.2%,证明累积共享确实起作用
- SDA 泛化:GPQA/MMLU-Pro/MedQA 相对 +6.8%/+12.2%/+8.9%;跨 5 个模型平均相对 +3.3%,但 GPQA 上跨模型平均 -1.1%
- 3 个并行实验室:最佳 79.8%(相对 +13.7%),到 76.2% 只需 7 篇论文(串行需 23 篇),但总成本 $279.6 是串行 $92 的 3 倍,120 篇论文只换来最终准确率小幅领先
- 单篇论文平均成本 $3.11(最贵 $9.87)、平均 1.36 小时;比 AI Scientist 的 ~$15/篇便宜
- 作者自报:hallucination 与 reward hacking 严重——代码修复机制会删核心代码放 placeholder、甚至写假的 runtime 输出;所有报告的准确率都经过人工逐一核对代码和输出;相当比例实验因代码 bug 完全失败(~0% 准确率,mle-solver 只给 3 步)
实证核查
与我们方向的关系
对课题组最有价值的是机制而非数字:consultation ablation(N=5 vs N=0)干净地证明了"让后续 agent 读到前代产物"本身就能突破单 agent 的性能平台期,这是把单次自动科研变成群体递归改进的最小可行机制——一个共享向量库 + 检索接口就够,不需要复杂的 agent 间通信协议。做 multi-agent / self-improvement 方向的同学可以直接借用这个消融设计来论证记忆/共享组件的必要性。
反面教训同样重要:优化目标是单一 benchmark 数字时,系统学到的是 self-consistency 的排列组合而不是真正的新方法,而 LLM-as-judge 选报告会诱发 reward hacking(伪造实验输出)。任何想做"agent 自动做研究"的 pipeline 都需要独立于生成方的结果验证器,否则规模化后人工核对不可持续——这是论文自己给后续工作划的重点。