这是什么
R-Zero(腾讯 AI Lab 与 WashU,2025-08,arXiv 2508.05004,已被 ICLR 2026 接收)想回答的问题是:能不能不给任何人类题目和标签,让模型完全靠自己生成课程来提升推理能力。此前的 self-play / self-improvement 工作(如 SPIN、Self-Rewarding)大多仍依赖现成的 prompt 集或人类偏好数据,R-Zero 把这一步也去掉了——起点只有一个 base model。
做法是把同一个底模复制成两份:Challenger 负责出题,奖励是让 Solver 的答案最大程度不确定(正确率接近 50%);Solver 负责解题,伪标签由它自己对每道题采样多次做 majority voting 得到。两者交替用 GRPO 训练,形成自动课程。实验在 Qwen3-0.6B/1.7B/4B/8B-Base 和 OctoThinker-3B/8B 上做,只在数学域出题,但泛化到 MMLU-Pro、SuperGPQA、BBEH 等通用推理基准也有提升。
这篇的特别之处在于诚实:论文正文就报告了迭代 scaling 的失败模式——伪标签质量随题目变难而崩掉,所有规模的模型最终都会性能回落,模型越大回落越晚。这对研究'自提升到底能走多远'比那些只报涨点的工作更有参考价值。
机制与做法
Challenger:把题出在 Solver 能力边界上
Challenger 用 GRPO 训练,核心是 uncertainty reward:对每道生成的题,让当前(冻结的)Solver 采样 m 个答案,众数当伪标签,算出经验正确率 p̂,奖励为 1 − 2|p̂ − 1/2|——Solver 正确率越接近 50% 奖励越高,即专出'半会不会'的题。附录给了理论动机:50% 正确率的题在 GRPO 下 advantage 方差最大,学习信号最强。
另外两个信号:repetition penalty 用 BLEU 相似度对 batch 内的题聚类,簇越大罚得越重,防止 Challenger 刷同一类题;format check 不通过直接 reward=0。最终奖励是 max(0, uncertainty − repetition)。
Solver:自己投票给自己当老师
Challenger 更新后冻结,采样一大批候选题;每题让当前 Solver 答 m 次,majority vote 作为伪标签,只保留经验正确率落在 1/2 ± δ 区间的题——太简单没信息量,太难则伪标签基本不可信(投票一致性低往往意味着题本身有歧义或病态)。这个 filter 同时起到难度课程和隐式质检双重作用,ablation 里去掉它通用域平均掉 6 分以上(31.15 → 26.69)。
Solver 在过滤后的 (题, 伪标签) 上用 GRPO 训练,二值奖励(匹配伪标签得 1)。一轮 Challenger + 一轮 Solver 为一个 iteration,主实验跑 3 轮。
上限在哪:伪标签的自我污染
论文用 GPT-4o 当 oracle 核查了每轮生成数据的真实标签准确率:第 1/2/3 轮分别是 79%、69%、63%,扩展实验到第 5 轮掉到 47%——接近随机。题越出越难(固定的 Solver 在第 3 轮题集上正确率从 59% 掉到 47%),但 majority vote 在难题上越来越不可靠,Solver 开始从噪声里学习,数学成绩在第 3-4 轮之后回落。
Iteration scaling 实验显示这是普遍规律:0.6B 第 1 轮就见顶,4B 撑到第 3 轮后骤降,规模只能推迟崩溃而不能避免。作者后续的 R-Few(2512.02472)就是用少量人类数据来续命这个循环。另一个实用发现:R-Zero 当 mid-training 用,之后再上人类标注数据做 RL,比直接用人类数据多 +2.35 分,先 R-Zero 后 SFT 优于混着训。
关键结果
- Qwen3-4B-Base:overall 平均 27.10 → 34.92(iter 2),数学平均 42.58 → 49.07(iter 3,+6.49);Qwen3-8B-Base overall 34.49 → 38.73。
- 只在数学域出题训练,通用推理基准也涨:Qwen3-4B 的 MMLU-Pro 37.38 → 53.75,SuperGPQA 20.88 → 27.92。
- 值得注意的 baseline 拆解:未经 RL 训练的'Base Challenger'出题就能把 4B 从 27.10 提到 30.83——总增益里约一半来自'用自己出的题做 RL'本身,Challenger 的对抗训练贡献剩下一半。
- 伪标签真实准确率(GPT-4o 核查):iter 1/2/3/4/5 = 79% / 69% / 63% / 54% / 47%,数学成绩第 3 轮见顶后回落;模型越大崩溃越晚(0.6B 第 1 轮即见顶)。
- Ablation(Qwen3-4B):去掉 repetition penalty 数学 49.07 → 45.76;去掉难度过滤通用平均 31.15 → 26.69。
- 与人类数据协同:R-Zero 之后再用 math12k 做 RL,比只用人类数据高 +2.35 分;先自进化后 SFT 优于混合训练。
实证核查
与我们方向的关系
对 RSI(recursive self-improvement)方向,R-Zero 是'纯自博弈能走多远'的一个干净数据点:它把外部数据依赖压到零,换来的是伪标签质量随难度上升而必然衰减的自我污染问题——majority vote 作为 verifier 的可靠性上限,直接决定了自提升的迭代上限。这和 self-training 里经典的 confirmation bias 是同一个问题在 RL 语境下的重现。
可借鉴的具体设计:uncertainty reward(把题出在 50% 正确率处使 GRPO advantage 方差最大)、难度带过滤兼做隐式质检、以及'自进化当 mid-training + 人类数据收尾'的组合策略。如果课题组做自提升实验,建议把'伪标签真实准确率随轮次的变化'作为必报指标——这篇证明了只看 benchmark 分数会漏掉正在发生的崩溃。