Reflexion: Language Agents with Verbal Reinforcement Learning
这是什么
2023 年 3 月,ReAct 一系的 agent 已经能靠 LLM 在环境里行动,但"从试错中学习"仍然只能靠 RL 微调——样本贵、算力贵,对闭源模型根本做不了。Reflexion(Northeastern / Princeton,作者含 ReAct 的 Shunyu Yao,NeurIPS 2023)提出换一条路:不更新权重,而是把环境给的 binary/scalar 反馈"放大"成一段自然语言的自我反思(verbal reinforcement),追加进下一轮尝试的 prompt。作者称之为 semantic gradient:策略被参数化为"冻结的 LLM + 一段可增长的记忆文本"。
论文在三类任务上验证:AlfWorld 文本家务环境(决策)、HotPotQA(推理)、HumanEval/MBPP/自建 LeetcodeHardGym(编程),并顺带释出 LeetcodeHardGym——40 道 GPT-4 训练截止后发布的 Leetcode hard 题、19 种语言的 RL gym。S2 引用数近 5000(Google Scholar 已过 7000),是"测试时经验学习/agent 记忆"这条线被引用最多的奠基工作之一,后来几乎所有 agent 框架里的 self-reflection / retry-with-memory 组件都源于此。
机制与做法
三个 LLM 角色 + 两级记忆
框架由三个(共享底座的)LLM 实例组成:Actor(即 ReAct 或 CoT agent,产生动作/答案)、Evaluator(给轨迹打分)、Self-Reflection 模型(把"轨迹 + 分数"改写成第一人称的反思文本,例如"失败是因为我误以为两人都有多重职业……下次应先确认")。记忆分两级:当前轨迹是 short-term memory,反思文本追加进长期记忆 mem——实践中 mem 是个容量 Ω=1~3 条的滑动窗口(受 2023 年 context 长度所限),编程任务只存 1 条。
反馈信号从哪来:三个任务三种 Evaluator
这是读这篇必须看清的一点,三个任务的"成功信号"来源完全不同。AlfWorld:手写 heuristic(同一动作连续 3 次无效、或超 30 步即判卡死)或让另一个 LLM 做二分类,属于无 oracle 的自评。编程:让模型自己用 CoT 生成至多 6 个 unit test(过 AST 语法过滤),在解释器里跑,以此自评——因为测试是自生成的,作者据此声称仍符合 pass@1 口径。HotPotQA:直接用数据集 ground truth 答案做 exact match——这是外部 oracle 信号,后面 reality 部分会展开这个争议。
循环流程即论文 Algorithm 1:生成轨迹 τ_t → Evaluator 打分 r_t → Self-Reflection 生成 sr_t 存入 mem → 带着 mem 重试,直到 Evaluator 判过或达到最大轮数(AlfWorld 12 轮左右,HotPotQA 连续 3 次失败即停)。
关键消融:反思 ≠ 单纯重试,也 ≠ 单纯记住上次轨迹
HotPotQA 上的消融是全文最有说服力的部分:CoT(GT) 基线在 temperature 0.7 下盲目重采样,失败题一道也救不回来;加 episodic memory(只把上次轨迹塞回 context)有提升;再加语言化反思,比 EPM 又多 8 个绝对点(图 c)。编程侧的消融(HumanEval Rust 最难 50 题):去掉自生成测试,52% 反而低于基线 60%——agent 不知道何时该停,会做有害的"修复";去掉反思只保留"测试失败就盲改",60% 与基线持平。作者由此论证:blind trial-and-error debugging 在难题上无效,语言化的错误归因才是增量所在。
能力门槛:反思是强模型的 emergent 能力
附录 A 很诚实:用开源的 starchat-beta 跑 HumanEval,基线 0.26,Reflexion 还是 0.26,零提升;HotPotQA 上 gpt-4 与 gpt-3.5-turbo 的增益幅度其实相近(ReAct 组均约 +12,CoT 组 +12 vs +14),差别主要在绝对水平。作者的结论是"指出并修正自己错误"的能力在弱模型上不存在,这决定了 2023 年时该方法基本只对 GPT-4 级模型成立。
关键结果
- HumanEval Python pass@1 报 91.0%,当时 GPT-4 直接生成为 80.1%;HumanEval Rust 68% vs 60%;自建 LeetcodeHard 15% vs 7.5%,翻倍。
- MBPP Python 是唯一输的项:77.1% vs GPT-4 的 80.1%,作者归因于自生成测试的 false positive 率——MBPP 上 16.3%,而 HumanEval 上只有 1.4%,烂测试会让 agent 提前交错答案。
- AlfWorld 134 个环境、12 轮迭代后完成 130/134(约 97%),heuristic 自评略优于 GPT 自评;ReAct-only 基线在 6-7 轮后停滞于约 75%,hallucination 率恒在 22%。
- HotPotQA 100 题采样:各类 agent 均提升约 20%;CoT(GT) 消融显示语言化反思比纯 episodic memory 再多 8 个绝对点——这是"反思有独立贡献"的核心证据。
- 编程消融(Rust 最难 50 题):去掉自生成测试 52%(低于基线 60%),去掉反思 60%(持平),两者都在才有 68%。
- 弱模型无效:starchat-beta 上 0.26 → 0.26,零提升(附录自报)。
- 长期记忆实际只是 1~3 条反思的滑动窗口,没有检索、没有整合,Limitations 一节自己点名希望后续接向量库/数据库。
实证核查
与我们方向的关系
对我们 continual-learning / 经验积累方向,这是必须精读的原点论文:它把"学习"从参数空间挪到了 context/记忆空间——策略 = 冻结 LLM + 可增长的经验文本,试错的产物是语言而不是梯度。后来的 memory bank、skill library、experience replay for agents(Voyager、ExpeL、AWM 等)全都是在补它明说的两个坑:记忆只有 1~3 条滑动窗口(没有检索、没有跨任务整合、没有遗忘机制),以及经验不能跨任务迁移(每道题的反思只服务于该题重试)。
可直接借鉴的教训有三条:(1) 反馈信号的可靠性决定一切——自生成 unit test 的 false positive 率(MBPP 16.3% vs HumanEval 1.4%)直接决定成败,设计经验积累系统时先想清楚成功信号从哪来、有多脏;(2) "语言反思"与"纯重试/纯轨迹记忆"要用消融分开,不然增益可能只是排除法;(3) 评估时警惕它踩过的坑:成功判定代码要审(issue #19)、报数要钉住模型版本、有 oracle 标签参与循环的数字要单独标注。