这是什么
2022 年初的背景:chain-of-thought 提示已被证明能显著提升推理表现,但要让模型稳定生成推理链,要么人工标注海量 rationale 数据集(贵到不现实),要么只靠 few-shot 提示(精度打折)。STaR 提出第三条路:只需要少量(约 10 个)带推理链的 few-shot 示例 + 一大堆只有'问题-答案'对的数据,让模型自己把中间推理链'补'出来。
核心循环极其简单:用 few-shot 提示让模型对训练集里每道题生成 rationale + 答案;只保留最终答案正确的那些 (question, rationale, answer) 三元组;拿这批数据微调基座模型;用微调后的模型重新生成,重复直到性能饱和。对模型做错的题,额外引入'rationalization':把正确答案作为提示塞进 prompt 让模型倒推出一条通向正确答案的推理链,收进训练集时再把提示删掉。
论文在 NeurIPS 2022 发表,作者是 Stanford 的 Eric Zelikman、Noah Goodman 等(Yuhuai Wu 后去了 xAI)。它的历史地位大于当时的绝对数字:'采样-按正确性筛选-再训练'这个循环就是后来 rejection sampling fine-tuning、ReST/ReST-EM、乃至 o1/R1 类 outcome-reward RL 的原型,论文自己就把 STaR 解释成 policy gradient 的一个近似。
机制与做法
外循环:生成 → 按答案筛选 → 从头微调
给定预训练模型 M 和数据集 D={(x,y)}(只有问题和答案,无推理链),每轮:用带 rationale 的 few-shot prompt 让当前模型对每道题贪心解码出推理链 r^ 和答案 y^;假设'导出正确答案的推理链质量更高',只保留 y^=y 的样本;在筛出的数据上微调。关键工程细节:每一轮都是从原始预训练模型 M 重新微调,而不是在上一轮 checkpoint 上继续训,作者说这是为了避免过拟合(实际上也避免了迭代自训练常见的 drift/collapse)。
训练调度也很谨慎:第一轮只训 40 步,之后每轮步数增加 20%,作者发现'开头训慢一点'对最终性能有利。采样用低温贪心解码;他们专门试过用高温多采样来替代 rationalization 扩充数据,结论是适得其反——高温会大幅增加'推理错误但答案撞对'的样本,训进去以后模型的 scratchpad 会退化成无意义文本。
Rationalization:把答案当提示倒推推理链
纯筛选循环有个死穴:模型永远从做对的题里学习,做不对的题提供不了任何梯度信号,性能会在'当前能力边界'上停滞。Rationalization 的做法是对做错的题把正确答案作为 hint 加进 prompt(例如在选择题里标注哪个选项 CORRECT),让模型在已知答案的条件下反向生成一条合理化的推理链;若这条链能导出正确答案就收入训练集,并且删掉 hint,伪装成模型自己想出来的。
作者从分布角度解释:rationale generation 是从 p(r|x) 采样,rationalization 是从 p(r|x,y) 采样,后者是更好的搜索空间,相当于对 RL 目标做 off-policy 估计。实际效果是双重的:让模型接触到它本来解不了的难题(数据分布覆盖更广),同时把数据量做大——CQA 上 rationale generation 覆盖训练集 78.2%,rationalization 再补 8.5%。
RL 视角:policy gradient 的低方差近似
论文 Method 一节给出一个重要的理论定位:把 rationale 看成离散隐变量,reward 取指示函数 1(y^=y),那么 STaR 的'按答案筛选'恰好等价于 policy gradient 中把错误样本的梯度置零;贪心解码对应降方差(代价是探索有偏),对同一批数据训多步类似 PPO 式的多次梯度更新。换句话说 STaR ≈ 用标准 SFT 流水线实现的 expert iteration / rejection-sampling RL。这段两页的推导是这篇论文被 o1 时代反复引用的原因——它把'self-training on correctness'和 RL 目标正式接上了。
实验设置:GPT-J 6B 上的三个任务
基座选 GPT-J 6B,理由很实在:权重和微调代码公开、且刚好大到能生成'值得自举'的 rationale(作者试过 GPT-2,连算术都无法启动自举)。三个任务:n 位数加法(scratchpad 格式,5 万道生成题,每轮采 1 万)、CommonsenseQA(9,741 道训练题,5 选 1)、GSM8K(7,473 道训练题)。CQA 的 few-shot prompt 沿用 Wei et al. CoT 论文的 10 个例子(修了一处错误答案)。训练在 TPU v3 上用 mesh-transformer-jax 完成。
关键结果
- 算术:16 轮 STaR 后 1-5 位加法总体准确率 89.5%,对比'直接预测答案'微调 baseline(1 万样本、5000 步)的 76.3%;而 few-shot(即使带 rationale)2 位加法准确率不到 1%。
- Rationalization 显著加速:加了它之后一轮微调就把 2 位加法从 <1% 拉到 32%,且各位数可以同时进步;不加则是阶梯式——必须先学会 n-1 位才能开始学 n 位(见 fig02 vs fig03)。
- 在第 20 轮引入更多位数继续训练后,模型在训练中从未见过的 9、10 位加法上也能解出不少题,显示学到的是可长度外推的算法而非模式匹配。
- CommonsenseQA dev:few-shot direct 20.9% → few-shot CoT 36.6% → GPT-J 直接微调 60.0% → STaR 68.8%(只用了 69.7% 训练数据)→ STaR+rationalization 72.5%,直逼 30 倍大的 GPT-3 direct finetuned 的 73.0%,远超 137B LaMDA few-shot CoT 的 55.6%。
- GSM8K test:few-shot 约 3% → 直接微调 5.8% → STaR 10.1%(36 轮,只用 25% 训练集)→ +rationalization 10.7%(rationalization 只贡献了 0.5% 数据,在这个任务上帮助很小)。
- 人评(20 名 Prolific 众包者、50 组对比):STaR 生成的 rationale 被偏好的概率比 few-shot CoT 高 30%(p=.039),甚至比 CQA 众包人写解释高 74%(p<.001)——作者明确说后者反映的是人写解释质量差,不是模型超人。
- 训练时在样本前保留 few-shot prompt 有实质增益(无 rationalization 时 60.9%→68.8%,有时 69.9%→72.5%),且能抑制推理风格漂移。
实证核查
与我们方向的关系
对本组 RSI(recursive self-improvement)方向,这是必须精读的源头论文:它给出了'模型自己造训练数据提升自己'的最小可行闭环,并证明了三件事——(1) 按 outcome 正确性筛选自生成数据足以驱动多轮真实提升;(2) 每轮从原始模型重训、控制训练步数增长,是避免自训练崩塌的关键稳定器;(3) 这个循环形式上就是 policy gradient 的近似,所以从 STaR 走到 outcome-reward RL(o1/R1)只差把'筛选后 SFT'换成 RL 更新。做 self-improvement 实验时,STaR 循环仍是最便宜的 baseline。
可直接借鉴的坑与技巧:高温采样扩数据会引入假阳性推理导致退化(要扩覆盖面应该用 rationalization/hint 式反推而非拉高温度);高 chance 任务(选择题、二分类)的 outcome 筛选信号很脏,需要 verifier 或 process 信号补充(V-STaR 就是这么来的);few-shot prompt 保留在训练样本里能抑制风格漂移。这些结论在 2024-2025 的 self-training 文献里被反复重新发现。