A Comprehensive Survey of Self-Evolving AI Agents: A New Paradigm Bridging Foundation Models and Lifelong Agentic Systems
这是什么
现在的 LLM agent 系统(不管单 agent 还是 multi-agent)绝大多数是人工搭好配置就冻结:prompt 手写、工作流手排、工具集固定,部署后不再变。而真实环境是动态的——用户意图变、任务需求变、工具更新。这篇综述把'部署后能根据交互数据和环境反馈自动改进自己'的 agent 系统统称为 self-evolving AI agents,定位为连接静态 foundation model 与 lifelong agentic system 的桥梁。
作者提出一条四阶段演进路线:MOP(离线预训练、冻结部署)→ MOA(部署后微调/LoRA/RLHF)→ MAO(多 agent 编排,不动模型参数)→ MASE(Multi-Agent Self-Evolving,agent 群体持续改写自己的 prompt、memory、工具策略乃至交互拓扑)。综述本体就是围绕 MASE 组织的:单 agent 优化、多 agent 优化、领域特化优化三大支,外加评估与安全两个专章。
这是 rsi 方向此前缺的'地图型'文献:AlphaEvolve、Darwin Gödel Machine、AFlow、ADAS、R-Zero 这些课题组关注的工作,在它的分类树里都能找到位置。作者仿照阿西莫夫机器人三定律提出'自进化三定律'——Endure(改动不破坏安全)、Excel(不倒退性能)、Evolve(自主优化),作为组织挑战和未来方向的框架。
机制与做法
统一概念框架:一个迭代优化闭环
核心抽象是四个组件构成的反馈环:System Inputs(任务描述 + 训练数据,分 task-level 和 instance-level 两种粒度)→ Agent System(被优化的对象,可拆成 LLM、prompt、memory、tool、多 agent 拓扑等子件)→ Environment(执行场景 + 产生反馈信号,有 ground truth 时用 accuracy/成功率,没有时用 LLM-based evaluator 造 proxy metric)→ Optimiser(在搜索空间 S 里用算法 H 更新 agent 配置)。形式化为 A* = argmax_{A∈S} O(A; I)。
Optimiser 由 (S, H) 二元组刻画:S 决定改什么(prompt 模板、工具选择、LLM 参数、架构结构),H 决定怎么搜(规则启发式、梯度下降、Bayesian/MCTS/RL、进化策略、learned policy)。这个抽象的好处是把 TextGrad、AFlow、ADAS、self-rewarding LM 这些表面完全不同的工作放到同一坐标系里比较——区别只在 S 和 H 的选择。Optimiser 还可以反过来改 System Inputs(合成训练数据),对应 R-Zero、Absolute Zero 这类 zero-data 自博弈路线。
三大分支的组织方式
单 agent 优化按被改的组件分四类:LLM behaviour(training-based 如 STaR/self-rewarding/R-Zero,test-time 如 reward model 引导、ToT/MCTS 搜索)、prompt(edit-based、generative、text-gradient 如 TextGrad、进化式如 PromptBreeder)、memory(短期上下文管理 vs 长期记忆如 Mem0/A-Mem/G-Memory)、tool(训练学工具、推理时选工具、以及 agent 自造工具如 Alita/CRAFT)。
多 agent 优化覆盖 prompt 级(multi-agent 联合调 prompt)、拓扑级(通信图结构搜索,如 G-Designer/AgentPrune/DyLAN)、统一优化(拓扑+prompt+工具一起搜,如 ADAS/AFlow/MaAS/MASS)和 backbone 级(通过交互数据训练底座 LLM 的协作能力,如 MAS-GPT)。领域特化章覆盖生物医学(诊断、分子发现)、编程(code refinement/debugging)、金融法律,论点是这些领域的优化目标和约束绑定太紧,通用 optimiser 不够用。
评估与安全:综述里相对稀缺的部分
评估章把 benchmark 按 agent 类型分类(tool/API、web、GUI、多 agent 协作、领域任务),并单独讨论 LLM-as-a-Judge 和 Agent-as-a-Judge(后者评整条推理轨迹而非只看输出)。安全部分点名 AgentHarm、RedCode、MACHIAVELLI、R-Judge 等 benchmark,核心批评是:现有安全评估全是 snapshot-based(某个时间点测一次),而自进化系统每一步演化都可能引入新风险,需要 longitudinal、evolution-aware 的持续评估——这个 gap 目前没人填。
挑战部分按三定律组织,比较实在的几条:learned reward model 对中间推理步骤的监督噪声大、易导致优化不稳定;优化出来的 prompt/拓扑换一个 LLM backbone 就失效(可迁移性差);多 agent 优化的计算开销和收益不成比例;自进化 agent 的动态性和 EU AI Act/GDPR 这类假设静态模型的法规直接冲突。
关键结果
- 提出 MOP→MOA→MAO→MASE 四阶段范式演进,以及四组件(Inputs/Agent System/Environment/Optimiser)统一反馈环,任何自改进方法都可以用'在哪个搜索空间 S、用什么算法 H'来定位。
- 文献覆盖量大:main.bbl 396 条 bibitem;配套 awesome 列表约 215 条带链接的条目,按同一分类树组织,2023-2025 的主要工作基本齐了。
- 提出'自进化三定律'(Endure/Excel/Evolve),把安全约束放在性能和自主性之前;实质是给挑战章提供组织框架,不是可执行的机制。
- 明确指出两个被忽视的 gap:(1) 安全评估都是 snapshot-based,没有跟踪系统整个演化生命周期的 benchmark;(2) 现有工作几乎都假设固定工具集,工具的自主发现与共同进化基本空白。
- 2025-08 上线,一年内 Semantic Scholar 引用 174 次,已成为该方向的默认引用综述之一。
- 对无标注数据场景的整理有用:把 R-Zero、Absolute Zero、SPIRAL 等自合成训练数据的工作统一归为'optimiser 反向改写 System Inputs'这一环。
实证核查
与我们方向的关系
对课题组 RSI 方向,这是目前最合适的入门地图:它把'自改进'从模糊口号拆成了具体的 (搜索空间, 优化算法) 组合,新人可以用这个坐标系快速定位 AlphaEvolve(instance-level + 进化算法 + 代码空间)、Darwin Gödel Machine(agent 代码空间 + 经验存档)、AFlow(工作流空间 + MCTS)各自在改什么。评估章和安全章对我们设计自己的自改进实验也直接有用——尤其是'proxy metric 从哪来'和'演化过程中如何持续验证不倒退'这两个问题。
两个可借鉴的研究缺口:(1) evolution-aware 的纵向安全/性能评估,现在没有 benchmark,谁做谁定义标准;(2) 优化产物(prompt/拓扑)跨 backbone 的可迁移性,论文点名这是生产部署的实际瓶颈。另外配套 awesome 列表更新频率高,可作为方向的持续跟踪源。