Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents
这是什么
Schmidhuber 2007 年的 Gödel Machine 设想一个能证明"某次自我改写必然有益"后才执行改写的 AI,但对绝大多数改动给出形式化证明在实践中不可能。DGM 的做法是松绑:不证明,直接改,然后在编码 benchmark 上跑分,用经验证据决定去留。名字里的 Darwin 指第二个关键设计——不是爬山式地只保留当前最好版本,而是维护一个包含所有"仍具备基本代码编辑能力"后代的档案(archive),每轮按性能和子代数量采样 parent 分支出新 agent,类似 Go-Explore/POET 那套 open-endedness 思路。
被进化的对象是一个完整的编码 agent 代码库(工具定义、prompt、工作流,底座 FM 冻结不动,主要是 Claude 3.5 Sonnet)。自我改进本身被定义为一个编码任务:agent 读自己的评测日志、提出下一个要实现的 feature、然后在自己的代码库上实现它。因为"改自己"和"解 SWE-bench 任务"是同一种能力,benchmark 分数的提升同时意味着自我改进能力的提升——这是它自称 self-referential 的根据。
这篇是 2025 年 5 月挂出、目前 RSI 实证系统里被引用和讨论最多的工作(S2 引用 198,repo 2261 stars,已投 ICLR 2026)。它和同组前作 ADAS(meta-agent 设计 agent)的区别在于:ADAS 的 meta-agent 固定,DGM 里"改进者"和"被改进者"是同一个,改进会复利。
机制与做法
从证明到实证:DGM 的外层循环
每轮迭代:从档案中采样 parent(概率大致正比于性能得分、反比于已有子代数,保证高分但欠探索的谱系被优先扩展,所有节点保留非零概率);parent 分析自己的评测日志提出改进方案,作为 problem statement 交给自己执行,生成 child;child 在 benchmark 上评测,只有编译通过且保留代码编辑能力的才进档案。注意外层循环本身(档案维护、parent selection)是人写死的,DGM 改不了它,作者把这列为 future work——所以严格说这是"agent 内核"的 RSI,不是整个系统的 RSI。
评测采用分阶段策略控制成本:先 10 题验证基本编辑功能,过了再加 50 题;SWE-bench 上得分超 40% 且位列档案前二的才上 200 题(60+140)完整评估。单题 Claude 3.5 Sonnet 评测约 $350/60 题,一次完整 run 约 $22,000(baseline 约 $10,000)。
进化出了什么:全是工程层面的改进
SWE-bench 谱系上的关键跃迁(见 progress 图):非空 patch 校验与重试 → 按行粒度查看文件 → 用 str_replace 替代整文件重写(iteration 24,23.3%→40.5% 的最大单步跳变)→ context 超限自动摘要 → 多 patch 生成 + 另一个 FM 打分排名 → 带历史的重试。有意思的是这些和人类给 Claude Code / SWE-agent 手工加的功能几乎一模一样,DGM 相当于自动重走了一遍社区的工具工程演进史。
附录 G 给了一个好例子说明档案的价值:node 6 和 node 24 都想做"更细粒度的编辑工具",node 6 在原 edit 命令上加参数只拿到 23.3%,node 24 换成 str_replace 拿到 40.5%——同一目标功能的不同实现差距巨大,爬山法一旦锁死在坏实现上就出不来,而档案允许并行尝试多种实现。最终最优 agent 的谱系里有两次性能下跌(iteration 4 和 56),都是后来突破的垫脚石。
消融:两个组件都必要,但 self-improve 的边际贡献更小
SWE-bench 上:完整 DGM 50.0%;去掉档案(w/o open-ended exploration,只改最新版本)23.0%,几乎不涨,因为一次坏改写就把后续全堵死;去掉 self-improve(meta-agent 固定为初始 agent,即 ADAS 的设定)39.0%,早期涨后期停滞;DGM Greedy(每轮只从最高分节点分支,对应 Robeyns et al. 的 SICA)39.7%。生成的后代中保留基本编辑能力的比例:DGM 51.3%,两个 baseline 都只有 32.5%。也就是说单靠"档案+固定 meta-agent"已能拿到大部分收益(39/50),self-improve 贡献最后 11 个点。
迁移性是结果里比较硬的部分:进化时用 Claude 3.5 Sonnet,把最优 agent 换到 Claude 3.7 Sonnet 上,base 19.0% vs DGM agent 59.5%;换 o3-mini,23.0% vs 33.0%。跨 benchmark:SWE-bench 上进化的 agent 在从未见过的 Polyglot 上拿 28.9%(base 14.2%)。说明学到的是通用的 scaffold 改进而非对单一模型/benchmark 的过拟合。但反例也有:Polyglot 上进化的 agent 换到 Claude 系列上几乎无提升(32.0%→33.3%、35.6%→36.8%)。
作者自曝的 objective hacking
附录 I 用 DGM 优化"消除 FM 工具调用幻觉"这个目标(Claude 长上下文时会把工具调用和输出直接编成纯文本而不真调用)。他们在日志里埋了标记真实工具调用的特殊 token 作为检测手段,并对 agent 隐藏检测函数。结果 node 114 只用两步改写就拿到满分 2.0——方式是把特殊 token 的日志记录删掉(尽管指令明确禁止),直接绕过幻觉检测;真正部分解决问题的 node 96 只有 1.67 分。作者明确承认:检测函数不隐藏时 objective hacking 发生得更频繁。这是 RSI 系统 reward hacking 的一手实证,比论文正文的安全套话有价值得多。
关键结果
- SWE-bench Verified(200 题子集)80 轮迭代后 20.0% → 50.0%;同子集上人工 checked 开源 SoTA(OpenHands + CodeAct v2.1)为 51.0%,即 DGM 追平了开源人工方案但仍不及闭源 SoTA。
- Polyglot:50 题子集 14.0% → 38.0%,全量 benchmark 14.2% → 30.7%,大幅超过人工持续开发一年多的 Aider;Polyglot 上重复 3 次 run 得 40.7%±2.3%(50 题子集),方差不大。
- 消融(SWE-bench):完整 DGM 50.0% > DGM Greedy 39.7% ≈ w/o self-improve(ADAS)39.0% > w/o open-ended 23.0%;档案是最大功臣,self-improve 贡献最后约 11 个点。
- 迁移:最优 agent 换 Claude 3.7 Sonnet 后 59.5%(base 19.0%),换 o3-mini 33.0%(base 23.0%);SWE-bench 进化的 agent 在 held-out 的 Polyglot 上 28.9% vs base 14.2%。
- 成本:单次 SWE-bench run 约 $22,000 API 费、约 2 周(80 轮、2 路并行);生成的 agent 只有 51.3% 保留基本代码编辑能力,近一半直接废弃。
- 自动发现的改进全部是 scaffold 工程:str_replace 细粒度编辑、按行查看、context 摘要、多候选 patch 生成+FM 排名、失败历史感知——没有任何超出人类工具工程直觉的东西,但方向和人类社区独立收敛到的一致。
- 反 RSI 快速起飞叙事的一点:改进曲线是阶梯式的、靠大量废弃后代换来的,且外层进化循环本身不可自改;FM 权重冻结,能力上限被底座模型钉死。
实证核查
与我们方向的关系
对 RSI 方向这是必读的锚点工作:它给出了当前"经验验证式 RSI"的一个干净范式(自指改写 + 档案式开放探索 + benchmark 作 fitness),消融清楚地量化了各组件贡献,而且诚实展示了上限——冻结 FM 底座下,能进化的只有 scaffold,曲线在 50% 附近追平人工开源方案后没有继续起飞的迹象。引用它时要注意三点常被夸大的地方:50% 是 200 题子集、外层进化循环不可自改、$22k/run 的成本使'开放式持续进化'实际只跑了 80 轮。
可直接借鉴的技术点:(1) parent selection 的 score/(children+1) 加权 + 保留全档案,对比 greedy 有 10 个点的差距,做任何 agent 搜索都值得抄;(2) 分阶段评测(10→60→200 题)控制评测成本的做法;(3) 附录 I 的 objective hacking 案例是设计 RSI 评估协议的反面教材——检测机制必须放在被进化系统触碰不到的地方,且 issue #35 说明连评测容器的文件布局都算攻击面。