AutoResearch AI: Towards AI-Powered Research Automation for Scientific Discovery
这是什么
这是一篇立场偏「概念澄清」的综述:作者认为当前把系统按模型家族、agent 架构或 benchmark 分数归类是错的,应该按控制权、证据、执行、验收责任在科研闭环里怎么分配来归类。核心产出是 L0-L4 自主性谱系:L0 纯人工;L1 人主导、AI 做搜索/写作/写码等局部增强;L2 AI 能执行成块任务并产出制品,但人仍须设定目标、检查、批准;L3 AI 开始主导工作流大段落,人退到干预与例外处理;L4 是「AI 常态化独立闭环」的愿景。论文把 L1-L2 这一段单独命名为 Vibe Research(人来掌舵的氛围科研),L3 起才叫 AutoResearch 本体。
值得注意的是它的判定纪律:「pipeline 宽度不等于科研自主性」——系统按其已被证实的工作流角色取最低档归类,只要常规人工验证在结构上仍然必需,再长的端到端流水线也只算 L2(见 sections/02-overview.tex,L2 还进一步细分为 L2-S 单步执行 / L2-I 交互式 / L2-P 人工验证下的流水线)。按这个尺子,The AI Scientist、AI Scientist-v2、Agent Laboratory、AI-Researcher 这些常被当作「AI 科学家」的系统都落在 L2,封面图(Fig0)的 L3 行里一个具体系统名都没有,L4 行只写着「robust concrete systems have not yet emerged」。这个保守立场是全文最有用的部分,也是它跟站内其他几篇综述的主要区别。
机制与做法
五阶段 × 五维度:把「判断目标」和「证据工具」分开
技术章节按五个工作流条件组织:literature grounding、hypothesis formation & planning、experimentation & tool use、feedback/validation/review、reporting & communication(sections/03-tech.tex 的 Stage I-V)。评估章节提出五个判断维度:novelty、validity、impact、reliability、provenance,并明确区分「判断目标」(这五维)与「证据工具」(benchmark、专家评审、重跑、制品溯源、纵向跟踪)。作者点出的核心方法论错误叫 authority borrowing——用某一维度上的强表现暗示其余维度也强,例如拿 benchmark 分数当科学判断本身。
provenance 是站内其他综述都没单列的一维:声称/数据使用/中间制品/评审/修订/部署期干预在工作流结束后是否还可追溯。它引 CiteME 说明引用归因不能简化成引用格式正确,引 LitSearch 说明检索质量会向下传导成可信度问题。除科学质量外还并列了一套 autonomy assessment 变量:task substitution、decision authority、workflow closure、responsibility retention,用来判断「这套证据支撑得起多强的自主性声称」。
按证据角色而非主题给 benchmark 分类,并给出领域自主性天花板
评估章的主表(tab:benchmark_taxonomy_autoresearch)收 23 个工具,分四类角色:discovery(Auto-Bench、DiscoveryBench、ResearchBench、ResearcherBench、AIRS-Bench)、experimentation & verification(MLAgentBench、EXP-Bench、PaperBench、CORE-Bench、ScienceAgentBench、SciReplicate-Bench、SPOT、FIRE-Bench)、deep research & synthesis(BioDSA-1K、DeepScholar-Bench、LiveResearchBench、Deep Research Bench、DeepResearch Arena、DRBench)、review & provenance(CiteME、LitSearch、LLM-REVal、AI Agent Index),每行标注它主要/间接支撑哪几维。表格明确不给 benchmark 打自主性等级。
领域章(sections/05-domain.tex)按 8 个领域族分别给「自主性天花板」:计算与形式科学、物理科学与工程、具身智能、化学与材料、生物与生物医学、医学与临床、经济与社会科学、地球与环境科学。结论是天花板由领域条件决定——制品结构化、可执行、能快速验证的地方自主性可信度高;依赖实体实验、延迟验证、异质证据、伦理约束或机构问责的地方就低。
关键结果
- L0-L4 里 L2 被拆成三档(L2-S 单步 / L2-I 交互 / L2-P 人工验证下的流水线),现有整合型系统绝大多数被压在 L2;封面图 L3 行没有列出任何具体系统,L4 直接标注为尚未出现。
- 五维评估中 provenance 是站内其他综述(AI4Research、LLM4SR、Agentic Science 等)都没单列的一维,配套证据工具是 CiteME(引用归因)、LitSearch(检索)、LLM-REVal(评审可信度)、AI Agent Index(部署期文档)。
- benchmark 主表 23 行,按 discovery / experimentation & verification / deep research & synthesis / review & provenance 四种证据角色排,而不是按学科或任务类型。
- 参考文献 269 条(main.bib),相对同类综述偏少;其中 28 条 bib key 形如 Undermind2025xxx / Undermind2026xxx,是 Undermind 文献检索工具自动生成的条目名。
- 领域章给 8 个领域族分别定自主性天花板,并把「可执行 + 可快速验证」当作高自主性的前提条件——这是全文最可操作的结论。
- arXiv 截至 2026-08-31 仍是 v1(2026-05-22 提交),摘要里的 GitHub 链接在 tex 里被注释掉了,所以 v1 PDF 里没有仓库地址。
实证核查
% Project GitHub:),v1 PDF 读者根本看不到。arXiv 也仍停在 v1。与我们方向的关系
当【地图】和【论证工具】用,不当【索引】用。两个具体用法:一是给自己的系统定级时套它的保守归档规则——只要常规人工验证在结构上还必需就只能写 L2,这个尺子能挡住组内 paper 里「端到端自主科研」这类容易被审稿人打的措辞;二是写 related work 或做评估设计时,拿 novelty/validity/impact/reliability/provenance 五维 + authority borrowing 的说法做自查:我们的 benchmark 分数究竟支撑了哪一维,有没有拿它冒充其余四维。provenance 这一维是站内其他综述缺的角度,做实验记录、制品追溯、评审留痕相关工作时值得直接引。
配合读的顺序:先用本篇的 L0-L4 + 五维搭骨架,索引和覆盖度交给 ai4research-survey、a-survey-of-ai-scientists、agentic-science-survey;ML 工程这条它漏掉的线,直接看站内 mle-bench、mlagentbench、mlgym、mle-dojo、mlr-bench、re-bench、exp-bench、paperbench 原条目;它反复强调的「验证与拒绝比生成难」这一判断,跟站内 autonomous-research-agents-verification-gap 和 the-ideation-execution-gap 是同一件事的两个证据,后两者的数字更硬,引用时优先引它们而不是本篇。