这是什么
这是 NUS/NTU 一批人(第一作者 Lingdong Kong)做的自动科研综述,arXiv 2605.18661,5 月首发、7 月出 v2,配一个 awesome list 仓库 worldbench/awesome-ai-auto-research(500 star)。它的定位不是讲某个技术路线,而是把「一篇论文从想法到传播」的完整链条拆成八个环节,逐环节盘点方法族、系统、benchmark 和成熟度。
八环节是:S1 Idea Generation、S2 Literature Review、S3 Coding & Experiments、S4 Tables & Figures、S5 Paper Writing、S6 Peer Review、S7 Rebuttal & Revision、S8 Paper2X(海报/slides/视频/项目页/社媒)。四阶段是按「认识论功能」分的:造证据(Creation)、组织成稿(Writing)、被外部审查(Validation)、对外传播(Dissemination)。S4、S7、S8 是它相对同类综述新加的三格。
全文的骨架其实是表:正文 Table 1(方法族 × 8 环节 + 成熟度打星)、Table 2(52 个 benchmark)、附录九张逐环节工具清单(S1 30 / S2 41 / S3 45 / S4 31 / S5 29 / S6 41 / S7 15 / S8 31 行,加跨阶段 E2E 45 行,合计 308 条),以及附录 Table 12——把 LLM4SR、AI4Research、Automated Scholarly Paper Review、From Automation to Autonomy、AI Scientist Survey 五篇同类综述逐环节打勾(它自己 8/8,五家分别 4/1/5/5/4)。
机制与做法
分类学:为什么按「认识论功能」而不是自治度切
作者明确把自己的轴和 From Automation to Autonomy 的自治度轴区分开:自治度描述「自动到什么程度」,他们的轴描述「在生命周期的哪一格」,两者正交。Writing 被从 Creation 里单拎出来,理由是写稿不是排版,而是把证据重新组织成论证;Peer Review 和 Rebuttal 被合成 Validation,因为它们共同构成「被挑战—回应—改稿」的社群机制。
他们反复强调这条链不是线性的:S6 的审稿意见会打回 S3 补实验、S4 改图、S5 重构;S8 做海报时暴露的表述含糊会倒逼改稿。这个「阶段边界」概念是全文最有用的抽象——它把大量失效模式重新定位成 handoff 失败:idea 看着新但实现后变弱、代码能跑但实现的是错算法、实验日志被总结成过强的 claim、rebuttal 承诺的修改没落地。
证据组织:横向表 + 逐环节利弊卡
每个环节结尾有一张 stageanalysis 卡片,左边正面标签、右边负面标签,各配三条一句话结论(例如 E2E 那张:正面是 pipelines / search / skills / multi-agent,负面是 propagation / self-critique / validation gap / state loss / overclaiming)。这个格式适合快速抽结论,但也意味着大量判断只有一句话,没有支撑数据。
E2E 那张附录表把 45 个系统分成「全自动研究系统(21 个)/ 领域专用 / 演化自改进 / 平台基建 / 生命周期 benchmark」五组,每行给 venue、GitHub、一句话评测战绩。这是全文最实用的一页,但表头自带脚注 "Evaluation information might be uncertain",可信度分层要自己判断。
跨阶段结论:五条 insight + 六大开放问题
五条 insight:①产出跑在验证前面;②人类治理下的协作比全自动更可信;③能力边界出现在开放式任务(新颖性判断、真实研究代码、长时程);④有效系统收敛到 exploration / execution / verification 三层架构,agent 数量不是关键;⑤AI 使用已经是治理问题(披露、归属、责任)而不是检测问题。
评测部分把方法分成五族(专家评、LLM/Agent-as-Judge、自动指标、执行接地、过程/轨迹),并点出五个缺口:新颖性难定义、benchmark 污染与时效、跨系统不可比(base model / 预算 / human-in-the-loop 各异)、跨领域欠测、成本本身应算评测维度;最后一条是「没有任何 benchmark 以人类等价的严格度评测完整生命周期」——这正好是站内 ResearchClawBench、AstaBench 那一批在啃的口子。
关键结果
- 成本与产量的引用数字:AI Scientist 约 $15/篇;Agent Laboratory $2–13/篇;AI Scientist v2 $25/篇、ICLR 尺度 6.33(唯一越过接收线的);FARS 连跑 228 小时、消耗 11.4B token、产出 100 篇(约 2.3 小时一篇),均分 5.05;ARIS 一夜跑 20+ GPU 实验,把稿件分从 5.0 提到 7.5。
- 研究级代码是最硬的墙:在 ResearchCodeBench、SciReplicate-Bench 这类专门 benchmark 上,前沿系统的天花板只有 37–39%,而同样的模型在 SWE-bench 类熟悉软件任务上表现好得多。
- 自动审稿的水位:Stanford Agentic Reviewer 与人类打分相关性 ρ=0.42,人类之间也只有 ρ=0.41;CycleReviewer 报告 Proxy MAE 相对单个人类审稿人降低 26.89%。作者的读法是「能给出有用的 review 式信号,但仍是不可靠代理」。
- 最强的落地形态不是 AI 独立审稿,而是 AI 给人类审稿意见做反馈:作者引 ICLR 2025 的随机对照实验,称 89% 的评审在收到 AI 反馈后被改善,且不影响接收率。注意这是它的转述口径(原实验统计的是反馈被采纳、评审被修改的比例),引用这个数字前回查原文。
- 治理侧的量级:语料级研究估计 CS 摘要中最多 17.5%、生物医学摘要 13.5% 可检出 AI 修改痕迹;作者由此主张从检测转向披露与追责。
- 覆盖体量:附录九张逐环节清单共 308 条工具/系统/benchmark,benchmark 表 52 项,E2E 表 45 个系统(其中 21 个归为「全自动」)。
- 元综述对比(附录 Table 12):在它自己的八环节格子里,LLM4SR 覆盖 4、Automated Scholarly Paper Review 覆盖 1、From Automation to Autonomy 5、AI4Research 5、AI Scientist Survey 4;S7 Rebuttal 与 S8 Dissemination 五家全空。这两格是本文相对同类综述真正的增量。
实证核查
与我们方向的关系
当地图用,不当结论用。最合适的两个用法:①开新题时先按环节定位——想做审稿/复现/实验编排,直接翻对应附录表看已有系统和 benchmark,省掉一轮检索;②写 related work 时用它的八环节做章节骨架,再回站内条目补细节。要注意它的清单在执行类 benchmark 上有漏项(MLE-Dojo、DSBench、CORE-Bench、RExBench、AAAR-1.0 等),所以「查漏」这一步不能只靠它,得对着站内 ai-rd-eval / replication-eval 两个子类再过一遍。
配读组合:S1 配 the-ideation-execution-gap 和 can-llms-generate-novel-research-ideas-a-100(它引的「idea 实现后变弱」就出自这条线);S3 配 researchcodebench、paperbench、mls-bench、exp-bench 看 37–39% 天花板到底怎么测出来的;S6/S7 配 cycleresearcher、stop-automating-peer-review-without-rigorous、hidden-prompts-in-manuscripts-exploit-ai(它对自动审稿的乐观陈述需要这几条来对冲);跨阶段判断配 autonomous-research-agents-verification-gap 和 researchclawbench——后者正是它自己点出的「生命周期级评测缺口」的直接回应。S7 rebuttal 与 S8 Paper2X 目前站内没有别的条目覆盖,想开这两个方向的同学从它的附录 Table 10/11(15 行 / 31 行)起步。