这是什么
2023 年中的背景:想让 GPT-4/Claude 这类 API 模型的 agent 变强,finetune 走不通(权重拿不到,且伤泛化);Reflexion 能靠同一任务反复重试涨分,但经验不会跨任务迁移——换一道题就得从头再错一遍。ExpeL 提的问题是:能不能像学生刷题一样,把练习阶段的成败轨迹沉淀成一份跨任务通用的'笔记',考试时一次作答就用上?
ExpeL(Experiential Learning agent)分三个阶段:训练阶段用 ReAct+Reflexion 在训练任务上试错,所有轨迹(成功和失败)存进 experience pool;学习阶段让一个更强的 LLM 对比同一任务的成败轨迹、归纳多个成功轨迹的共性,迭代维护一组自然语言 insights;评估阶段面对新任务,prompt 里拼上全部 insights,再按任务相似度从 pool 里检索 top-k 条成功轨迹当 few-shot 示例。全程不动模型参数,'学到的东西'就是一段文本加一个向量库。
在 HotpotQA、ALFWorld、WebShop 三个基准上均超过 ReAct/Act 基线,并做了 HotpotQA→FEVER 的知识迁移实验。作为'把经验写成自然语言记忆'路线的早期代表,被引 843 次,后续大量 agent memory 工作(如各类 insight/rule memory)都以它为对照。
机制与做法
经验收集:用 Reflexion 制造多样化的成败对
训练任务集里每道任务最多重试 Z 次:先用 ReAct 直接做,失败就让 LLM self-reflect 生成一段反思文本,带着累积的反思重试。无论成败,每条轨迹都进 experience pool。这样做的关键副产品是同一任务的 success/fail 轨迹对——比单独看成功轨迹信息量大得多,后面提炼 insights 全靠它。消融也证实这点:只用 ReAct(无重试)收集经验,或干脆只从人写的 few-shot 里提 insights,效果都明显掉。
Insight 提炼:带投票机制的规则库维护
让 LLM_insights(默认 gpt-4-0613)迭代处理两类输入:同任务的成败对,和跨任务的 L 条成功轨迹批次。它对现有规则集只能执行四种操作:ADD 新规则、EDIT 改写、UPVOTE 加权、DOWNVOTE 减权;新规则初始 importance=2,减到 0 就删除。这个投票机制是为了防止个别次优的成功轨迹污染规则库。最终 ALFWorld/HotpotQA 提 10 条、WebShop 提 8 条左右的自然语言规则。
作者明确说 gpt-3.5 干这活不行——既不听指令又爱幻觉;消融里换 gpt-3.5 提 insights,HotpotQA 从 39% 掉到 32%,和人手写规则一个水平。也就是说这条'自主学习'管线实际依赖一个更强的闭源模型当提炼器。
推理:insights 全量拼接 + 相似轨迹检索
评估时任务说明后面直接 concat 全部 insights;few-shot 示例不再用手写的,而是用 all-mpnet-base-v2 编码任务描述、在 Faiss 里按内积检索 top-k 条最相似的成功轨迹。两种记忆的作用在不同环境上互补:HotpotQA 里 insights-only 36% > retrieve-only 31%(靠通用推理准则),ALFWorld 反过来 50% < 55%(靠模仿具体操作序列),合起来才拿到最好成绩。检索键的消融:按任务相似度 59% > 按推理步相似度 48.5% > 随机采样 42.5%。
迁移实验:把 HotpotQA 学到的 insights 让 GPT-4 结合少量 FEVER few-shot 改写成 FEVER 版规则,FEVER 成功率 70% vs ReAct 63%,说明这种文本形态的经验确实能跨任务分布搬运。
关键结果
- 主结果(actor 均为 gpt-3.5-turbo-0613,四折均值):HotpotQA 39% vs ReAct 28%;ALFWorld 59% vs 40%;WebShop 41% vs 35%。
- 对比 Reflexion:ALFWorld 单次尝试 59% 已超 Reflexion 三轮重试的 54%;HotpotQA 打平(39% vs R3 40%);WebShop 41% 反而不及 Reflexion R1 的 43%。
- ExpeL 与 Reflexion 可叠加:ALFWorld 上 ExpeL+Reflexion R3 达 64.2%(纯 Reflexion R3 为 54.4%)。
- insights 质量消融(HotpotQA):GPT-4 提炼 39% > 人工手写 32% ≈ gpt-3.5 提炼 32%;往提炼输入里加 self-reflection 文本反而掉到 29%(反思带幻觉,污染规则)。
- 迁移学习:HotpotQA insights 改写后用于 FEVER,70%±0.7 vs ReAct 63%±0.4;不用目标域 few-shot 改写则只有 65%。
- 经验多样性是命门:只从手写 few-shot 提 insights 相比 ReAct 无提升;用 Reflexion 重试收集(有成败对)优于只用 ReAct 收集。
实证核查
put in/on 改成 move to、go to 反馈也变了(alfworld/alfworld#96、#52),ExpeL 内置的 few-shot 和动作模板全部过时。有用户改回 alfworld==3.5 并修 prompt 后'效果恢复正常',但明确表示未完整复现、不确定能否达到论文精度;作者始终没有在 issue 里回应。与我们方向的关系
对 continual-learning 方向,这是'经验即记忆'路线绕不开的起点:它把 agent 的学习拆成 episodic memory(成功轨迹检索)和 semantic memory(自然语言规则)两条通路,并用消融证明两者在不同任务类型上互补——这个二分法被后续几乎所有 agent memory 工作沿用。它的 ADD/EDIT/UPVOTE/DOWNVOTE + importance count 机制,是最早处理'规则库如何增删改、防污染'的具体方案之一,做经验库自动维护的可以直接对照。
两个可借鉴的负结果同样值钱:一是往提炼输入里混入 self-reflection 会因幻觉污染规则(干净的原始轨迹对 > 加工过的反思);二是弱模型提炼的规则和人手写没差别,说明'经验抽象'这一步对模型能力有门槛。另外它的复现困境本身是个教训:方法效果与环境版本、底座模型版本深度耦合,做这类工作要留可复现的环境快照。