When AI Reviews Its Own Code: Recursive Self-Training Collapse in Code LLMs
这是什么
这篇文章研究 model collapse 在代码域的具体形态:AI 生成的代码进入真实仓库,之后又被爬进下一代模型的训练语料,形成仓库级的自训练闭环。传统上 PR review、编译、测试会打断这个闭环,但 AI 写码的速度已超过人审的速度,而 code review 本身也在被 AI 接管——如果 AI 写码、AI 审码,验证信号就和被训练的分布耦合在一起了。
作者把 review 形式化为 gated distributional reweighting,比较三种递归微调 regime:no review(全部回收)、Human-gate(模型无关的外生过滤:compile 检查、重复率/长度等静态规则)、AI-self-gate(模型自身信号:masked-completion perplexity 取最低 25%,或 binary self-scoring 取最高 25%)。理论上证明:在 self-confirming acceptance 条件下,AI 自审门会退化为无门自训练;并给出递归重训下表示层协方差谱集中的分析。结论指向一个 RSI 关键命题:稳定的递归自训练需要 exogenous verification,模型耦合的自审不行。
机制与做法
实验闭环
四个模型(SantaCoder 1.1B、StarCoder2-3B、Qwen2.5-Coder-1.5B、Code Llama-7B)各跑 5 轮:每轮从固定 prompt 池生成代码,过滤门选出 5,000 条被接受样本,微调 3,000 步得到下一代模型(5 轮共 15k 步)。Human-gate 方法生成直到攒够 5,000 条;AI-self-gate 方法每轮生成 20k 条取头/尾 25%。五种策略(Vanilla / Compile / Quality / PPL / Binary)共享同一优化器和调度,只有过滤策略不同。评测用 bigcode-evaluation-harness + EvalPlus,基准为 HumanEval(+)、MBPP(+)、LiveCodeBench。
rubber-stamp 机制
核心理论点(Theorem 1):若 AI 审查器对当前模型高概率生成的代码给出近乎相同的接受分(self-confirming 条件),门控就不再改变训练分布,AI 自审等价于无门自训练。实验证据是 filter pass rate 的漂移:PPL 门的通过率从 R1 的 0.167 涨到 R5 的 0.235,自校准信号随生成器一起退化——审查分在涨,基准正确率在跌,即'橡皮图章'状态。外生门(compile、固定静态规则)的信号不随模型漂移,所以能保留部分有效性,但也挡不住长程语义漂移。
关键结果
- 所有 4 个模型、所有 5 种过滤策略在 5 轮内都跌破预训练基线,过滤只改变坍缩速度和形状,不能消除坍缩。
- 无过滤坍缩最狠:SantaCoder MBPP+ 从基线 0.294 跌到 R4 的 0.008(-97.3%);Qwen2.5-Coder MBPP+ 从 0.582 跌到 R5 的 0.082(-85.9%)。
- MBPP+ 比 HumanEval+ 坍缩更严重;LiveCodeBench 这类更难的 OOD 任务最先归零——Qwen2.5-Coder LCB 从 0.238 跌到 R5 的 0.000,说明递归自训练优先摧毁较难的推理能力。
- AI 自审门早期看着不差:Binary 门在 3 个模型上拿到最高的 R5 HumanEval+(如 SantaCoder 0.104),但 MBPP+ 轨迹极不稳定(R4 跌到 0.019),R1 领先不保证长程稳定。
- PPL 自审门的通过率从 0.167(R1)涨到 0.235(R5),Binary 门的接受分随轮次上升而正确率下降——自审信号逐轮丧失区分度,验证了 rubber-stamp 理论预测。
- Code Llama-7B(最大模型)对坍缩最抗:Vanilla 下 R5 MBPP+ 仍有 0.214,作者归因于更强的预训练基础。
实证核查
与我们方向的关系
对 RSI 方向这是'自提升闭环何时坍缩'的反面对照:它给出了一个可检验的机制——验证器与生成器分布耦合时,过滤会退化为 rubber-stamp,自训练等价于无门坍缩。这正是各类 self-refine / LLM-as-judge / self-rewarding 方案的共同软肋,也解释了为什么 AlphaZero 式的成功案例都依赖 exogenous verification(棋类规则、编译器、单测执行、形式验证)。做自提升实验设计时,可以直接借用它的 filter pass rate 漂移作为 rubber-stamp 早期检测指标:接受率上升 + 基准下降的剪刀差,比等最终指标崩掉更早发现闭环失效。