From Automation to Autonomy: A Survey on Large Language Models in Scientific Discovery
这是什么
这是 ai-scientist 方向最常被引的『地图型』综述之一。它回答的问题不是『LLM 能做哪些科学任务』,而是『LLM 在科研流程里的角色如何从工具演化为自主研究者』。切入点有两个轴:纵轴是三级自主性——Level 1 LLM as Tool(人直接监督下执行单一明确任务)、Level 2 LLM as Analyst(人定目标、LLM 半自主完成数据建模与分析)、Level 3 LLM as Scientist(以最少人工干预跑通多个研究阶段);横轴是经典科学方法六阶段(观察与问题定义、假设发展、实验与数据收集、数据分析、得出结论、迭代精炼)。
组织方式随层级变化:Level 1 按六阶段分节(文献综述、想法生成、实验规划、图表/表格推理、评审与验证、迭代精炼);Level 2 按学科分(ML research、数据建模、function discovery/符号回归、自然科学、通用研究);Level 3 则按 idea development 与 iterative refinement 两种系统策略讨论 AI Scientist、Agent Laboratory、Zochi、Carl 等端到端系统。作者明确排除了通用科学 LLM(如 domain-specific foundation model)——这是它与『AI for Science』类综述的分界。
论文本身停在 arXiv v3(2025-09,EMNLP camera-ready),但配套的 Awesome-LLM-Scientific-Discovery 仓库是活的:2026-07 大更新加入了 2025-2026 的新系统和一个 frontier industry-lab 专节(DeepMind / OpenAI / FutureHouse / Sakana 等),事实上成为这篇综述的持续更新版。
机制与做法
三级自主性:用什么维度划分
Table 1 用四个维度区分三级:LLM 的角色(任务自动化工具 → 数据建模与分析 agent → 开放探索与发现 agent)、人的角色(分配任务 → 定义问题并验证输出 → 最小干预)、任务范围(显式定义 → 目标导向 → 开放式)、agentic workflow 复杂度(简单静态 → 高级 → 策略性迭代)。这个划分的实际用处是给任何一个『AI 科学家』系统快速定位:比如 MLAgentBench/DS-Agent 是 L2,AI Scientist/Agent Laboratory 是 L3,而大量 benchmark 类工作其实都在 L1-L2。
注意 L2 的定义是『passive agent』——人划边界、LLM 在边界内自主跑任务序列;L3 是『active agent』——能自己提假设、规划实验、下结论并提出下一个研究问题。这个 passive/active 的区分比很多综述里模糊的 'autonomous' 用词更可操作。
六阶段 × 三层级的矩阵式梳理
Level 1 一章基本是六阶段任务清单:文献检索与综合(SCIMON、PaperQA)、想法生成(Si et al. 的百人研究、Nova、MOOSE-Chem)、实验规划与代码(SciCode、DS-1000、AIDE)、图表/表格推理(ChartQA、Chain-of-Table)、结论验证与评审(ReviewerGPT、CycleResearcher、SciReplicate-Bench)、迭代精炼(Chain-of-Ideas、MC-NEST)。对课题组来说这章的价值是 benchmark 索引——每个阶段配了 methodology/benchmark/agentic workflow 三类标记。
Level 2 按领域切:ML research(MLAgentBench、MLE-Bench、RE-Bench)、数据建模(DiscoveryBench、BLADE)、function discovery(LLM-SR 系列)、自然科学(Coscientist、AI co-scientist、FutureHouse 系)。Level 3 当时(2025-05)只收了 6 个系统:AI Scientist v1/v2、Agent Laboratory、AI-Researcher、Zochi、Carl——全部集中在 ML research 领域,这本身就是一个有信息量的观察:真正的 L3 系统当时只在『用 AI 研究 AI』这个闭环里跑通。
挑战一节与课题组方向的重合
第 7 节列了五个未来方向:fully-autonomous research cycle(跨研究实例的持续探究,而非单次任务)、robotic automation(物理实验室接入)、transparency/interpretability、continuous self-improvement、ethics。其中 continuous self-improvement 一段直接引 continual learning 文献(CLIN、online RL),主张科学 agent 应在运行生命周期内从连续发现中自我增强——这正好落在课题组 RSI 和 Continual Learning 两个方向的交叉点上,可以当作『综述作者也认为这是缺口』的引用依据。
关键结果
- 三级框架用四维度定义(LLM 角色 / 人的角色 / 任务范围 / workflow 复杂度),被后续工作直接借用:2026 年的 Toward Trustworthy Autonomous Science 社区路线图和 SciIntegrity-Bench 都按 L1/L2/L3 组织论述。
- 截至 v3(2025-09),Level 3『LLM as Scientist』只收录 6 个系统(AI Scientist v1/v2、Agent Laboratory、AI-Researcher、Zochi、Carl),且全部在 ML research 领域——自主科学家当时尚未走出『AI 研究 AI』闭环。
- Level 1 覆盖最密,六阶段各配 benchmark/methodology/workflow 三类标记,可当 benchmark 索引用;Level 2 按 ML/数据建模/function discovery/自然科学/通用五个领域组织。
- 明确的 scope exclusion:不覆盖通用科学 LLM 和 domain-specific 科学推理(留给 AI4S 类综述),只看自主性演进这条线。
- S2 引用 101 次,EMNLP 2025 main conference;配套 awesome list 435 stars,2026-07 大更新新增 frontier labs 专节(AlphaEvolve、Kosmos、Biomni、Evo 2 等)。
实证核查
与我们方向的关系
对课题组的正确用法是【入门地图 + 定位坐标系】:新同学进 ai-scientist 方向,先读这篇的正文(短,主文仅约 9 页)建立 L1/L2/L3 坐标,再按需深入站内条目——L3 对应 the-ai-scientist / the-ai-scientist-v2 / agent-laboratory / ai-researcher / zochi / meet-carl,L2 对应 curie / autonomous-chemical-research-with-large(Coscientist)/ towards-an-ai-co-scientist,生态层(它当时未覆盖)对应 agentrxiv / agents4science-2025 / omniscientist。读站内任何一个新系统时,先问『它在这个框架里是 L2 还是 L3、卡在哪个科学方法阶段』,比泛泛读摘要有效。
与站内另外两篇综述的分工:llm4sr 按研究流程四任务(假设/写作/实验/评审)切,偏任务粒度;agentic-science-survey 偏 agentic 系统架构;本篇的独特价值是自主性演进这条纵线和『L3 系统当时全部困在 ML research 领域』这类结构性观察。另外它的 Challenges 一节把 continuous self-improvement(引 continual learning 与 online RL 文献)列为五大方向之一,可作为课题组 RSI × Continual Learning 交叉选题的动机引用。日常追新建议直接盯它的 awesome list(比论文新一年),但注意其对 frontier-lab 技术报告收录偏慢,需与本站 catalog 互补。