When AI builds itself (Anthropic on recursive self-improvement)

这是 Anthropic Institute 发表的立场文章(作者 Marina Favaro 和 Jack Clark,2026 年 6 月 4 日),主题是递归自我改进(recursive self-improvement, RSI)——AI 自主设计并开发自己的后继模型。文章的核心论点很直接:Anthropic 正把越来越多的 AI 开发工作交给 AI 自己做,这个趋势外推下去就是 RSI;它还没发生、也不是必然,'但可能比大多数机构准备好的时间来得更早'。

文章结构分七块:开发方式的时代划分(2021-2023 人写代码 → 2023-2025 chatbot 辅助 → 2025-2026 coding agent → 当下的自主 agent → 假想的 20XX '闭环');外部证据(METR time horizon、SWE-bench、CORE-Bench 饱和);内部证据(代码归因、Claude Code session 成功率、三个前沿实验);Anthropic 内部工作方式的变化;反方论证('What if we're wrong?');三种未来情景;政策主张。

值得注意的是这篇文章的写法:它是前沿 lab 里少见的、大量自曝 caveat 的一手陈述——几乎每个内部数字都附带脚注说明其局限(lines of code 高估生产力、员工自评有偏、实验不迁移到生产规模模型等)。Ethan Mollick 评价其 'empirical sections are strong';但它同时也是一篇服务于政策议程(可验证暂停机制)的宣传文本,这两重性质是读它时要始终记住的。

外部证据:time horizon 与基准饱和

文章引用 METR 的任务时长趋势:AI 能可靠独立完成的任务长度大约每 4 个月翻倍(此前是 7 个月)。具体锚点:Claude Opus 3(2024 年 3 月)约 4 分钟的任务,一年后 Sonnet 3.7 约 90 分钟,再一年后 Opus 4.6 达 12 小时;METR 测到 Claude Mythos Preview 能连续工作'至少' 16 小时——已到 METR 可测量的上限。脚注说明这是 50% 可靠性口径,80% 口径趋势线相同。

基准方面:SWE-bench 两年内从个位数到饱和;CORE-Bench(复现研究论文)从 2024 年的约 20% 到 15 个月后饱和。文章还给了个宏观旁证:GitHub 2025 年全年约 10 亿次 commit,到 2026 年年中已是每周 2.75 亿次。

内部证据:代码归因与 session 成功率

核心数字:截至 2026 年 5 月,Anthropic 合并代码中 80% 以上由 Claude 撰写(归因 pipeline 有缺口,领导层公开估计含脚本/实验代码在内超过 90%);在 2025 年 2 月 Claude Code 上线之前这个比例还是个位数。工程师人均每天合并的代码量,2026 年 Q2 是 2024 年的 8 倍——作者自己承认 lines of code 是重量不重质的指标,8 倍'几乎肯定高估了真实生产力增益'。2026 年 3 月对 130 名员工的调查中位数自评约 4 倍提速,作者也援引 METR 研究指出开发者普遍高估 AI 增益,认为真实值'somewhat lower'。

更有信息量的是按任务难度分层的内部 Claude Code session 成功率(LLM 判定):最难的 open-ended problems 一档,成功率在 2026 年 5 月达到 76%,六个月内涨了 50 个百分点(见图)。单点案例:2026 年 4 月 Claude 自主提交 800+ 个修复,把某类 API 错误降低 1000 倍,估算相当于 4 年人力;回溯分析显示,自动化 Claude review 本可拦下 claude.ai 历史事故背后约 1/3 的 bug。

三个前沿实验:从'写代码'到'研究品味'

训练代码加速实验:每次新模型发布时让它优化同一份小模型训练代码,在通过相同正确性检查的前提下尽量提速。Opus 4(2025 年 5 月)约 3x,Mythos Preview(2026 年 4 月)约 52x;熟练人类工程师花 4-8 小时约 4x。脚注承认倍数取决于初始代码的优化余量,不代表真实训练加速,重点是同口径的代际对比。

自动化安全研究实验(2026 年 4 月):让 Claude agent 群解一个开放的 weak-to-strong supervision 问题——提假设、做实验、并行 agent 间共享发现、迭代。以弱监督者单独表现为下限、用正确答案训练的强模型为上限:两名人类研究员一周恢复约 23% 的差距,agent 群用 800 累计小时、约 1.8 万美元算力恢复了 97%。Caveat:结果没能干净地迁移到生产规模模型,且问题选择和评分 rubric 都是人定的。

下一步判断测试:从 2026 年 1-3 月真实 Claude Code 研究 session(如诊断崩溃的训练 run)中选出 129 个'人类走了弯路'的时刻,只给模型看弯路前的上下文,问它下一步怎么走,由一个能看到 session 最终结局的 Claude judge 裁决。Opus 4.5(2025 年 11 月)51% 的情况下胜过人类的实际选择,Mythos Preview(2026 年 4 月)达 64%,'practical ceiling' 约 90%。作者自己标注了选择偏差:样本刻意选在人类决策有改进空间的时刻;在另外 127 个人类决策本来就不错的时刻上,模型只有约 20% 胜出。

三种未来与政策主张

文章给出三种情景:(1) 趋势撞上 S 曲线停滞(算力/能源瓶颈)——作者认为最不可能;(2) 效率增益持续复利、人类保留方向设定权——作者的预期路径,但受 Amdahl 定律制约(如人类 code review 成为瓶颈);(3) 完全 RSI,进展只受算力限制,最大不确定性是对齐——失配可能在后继模型代际间复利放大。

政策主张是全文的落点:世界应当拥有'放慢或暂停前沿开发'的选项,但前提是可验证的多边协调——单边暂停只会'换一个领跑者'。Anthropic 承诺:若验证机制存在且其他前沿开发者可验证地暂停,它预期自己也会暂停。难点被如实列出:训练 run 比导弹发射井难探测得多、算力是通用投入、违约激励巨大;INF 条约这类机制花了几十年建立,'我们没有那么长时间'。后续行动是组织与政策界、公民社会的对话并公开结果。

• 截至 2026 年 5 月,Anthropic 合并代码 80%+ 由 Claude 撰写(领导层估计含脚本超 90%);Claude Code 2025 年 2 月上线前为个位数。
• 工程师人均合并代码量 2026 Q2 达 2024 年的 8 倍;作者自认 lines of code 指标'几乎肯定高估'真实生产力。
• 内部 Claude Code session 在 open-ended problems 上的成功率 2026 年 5 月达 76%,六个月涨 50 个百分点。
• 训练代码优化实验:Opus 4 约 3x → Mythos Preview 约 52x;熟练人类 4-8 小时约 4x。
• 自动化安全研究实验:agent 群 800 小时 + $18k 算力恢复 97% 的性能差距,两名人类研究员一周仅 23%;但结果未迁移到生产规模模型。
• '下一步判断'测试(n=129):Opus 4.5 51% 胜过人类实际选择,Mythos Preview 64%;但在人类决策本已良好的 127 个时刻上模型仅约 20% 胜出。
• METR 口径:AI 可靠完成的任务时长约每 4 个月翻倍;Mythos Preview 可连续工作至少 16 小时,达测量上限。
• 政策结论:主张建设'可验证的多边暂停'机制,并承诺若他人可验证暂停则 Anthropic 预期也会暂停;明确反对单边暂停。

这是前沿 lab 对 RSI 现状最直接的一手陈述,对课题组的价值在于两点。第一,它给出了一组别处拿不到的内部量化锚点:代码归因比例、分难度的 agent session 成功率、同口径代际对比实验——尤其'下一步判断'测试的实验设计(从真实 session 切片、用知道结局的 judge 裁决)是评测 agent 研究判断力的可借鉴范式,连同它的选择偏差教训一起。

第二,把这篇和 Princeton shadow evaluation、METR 的开发者高估研究对照读,能看清当前 RSI 争论的真实分界线:'perspiration 自动化'(实现、调试、优化、可打分任务)证据扎实且在快速复利,'研究品味'(选题、定义问题、开放式探索)证据薄弱甚至为负。做 automated AI R&D 相关工作时,claim 落在哪一侧决定了该用什么标准去审。文末的可验证暂停机制部分则是理解 Anthropic 政策立场(以及它与开源社区冲突)的关键原文。