Voyager: An Open-Ended Embodied Agent with Large Language Models

Voyager(NVIDIA/Caltech,2023-05,TMLR 2024,S2 引用 2195+)要解决的问题是:LLM agent 怎么在开放世界里"终身学习"——不断给自己出题、学新技能、并且不忘掉旧技能。它的答案是完全绕开梯度更新:把每个学会的行为固化成一段可执行、可组合、可读的代码函数,存进外部技能库,以后靠 embedding 检索取用。新技能可以调用旧技能,能力像滚雪球一样复利增长,而且天然没有 catastrophic forgetting——代码写在库里就不会丢。

整个系统只通过 API 黑盒调用 GPT-4(gpt-4-0314),不做任何微调。环境侧建在 MineDojo 之上,用 Mineflayer 的 JavaScript API 做动作控制——也就是说 agent 看到的是结构化文本状态(inventory、附近方块、生物群系、血量等),不是像素;执行的是 mineBlock()、craftItem() 这类高层原语,不是键鼠操作。这是理解这篇论文定位的关键:它验证的是 LLM 的规划 + 代码生成 + 经验组织能力,不碰感知和底层控制。

它是"skill library"这一整条工作线的原型:后来 agent 领域里各种把成功轨迹/工具/代码沉淀为可检索资产的做法(包括不少 memory/experience 论文)基本都引用它作为出发点。

自动课程:让 GPT-4 自己出题

没有人工任务列表。每轮把 agent 当前状态(inventory、装备、附近方块/实体、时间、血量、位置)、已完成/已失败任务列表,加上"目标是发现尽可能多样的东西、下一个任务别太难"的指令喂给 GPT-4,让它提出下一个任务。另外用 GPT-3.5 做 self-ask/self-answer 补充背景知识(用 3.5 纯粹是省钱)。课程温度设 0.1,其余组件温度全 0。

这一步是消融里最致命的:换成随机课程,发现的物品数掉 93%;人工设计的课程也明显不如自动课程,因为它不看 agent 的实时处境。

技能库:代码即技能,embedding 检索

每个通过验证的程序,先让 GPT-3.5 写一段功能描述,取描述的 embedding(text-embedding-ada-002)作 key、代码本身作 value 存库。要用时,把 GPT-3.5 生成的任务规划文本 + 环境反馈拼起来做 query,取 top-5 相关技能放进代码生成的 prompt,供新代码直接调用。

代码生成的 prompt 里还包括:控制原语 API 文档、"你的函数会被复用,请写得通用"这类 guideline、上一轮的代码/报错/批评,以及 chain-of-thought 引导。去掉技能库的消融版本在后期明显 plateau(63 vs 约 36 个物品),而且论文展示把这个技能库直接插给 AutoGPT 也能提升它的表现——技能库是可移植资产。

迭代 prompting:三类反馈修代码

每轮生成的程序真的拿去执行,把三类信号回灌下一轮:(1) 环境反馈——控制原语内部用 bot.chat() 打印中间进度,比如"造铁胸甲还缺 7 个铁锭";(2) 解释器的执行报错;(3) self-verification——另起一个 GPT-4 实例当 critic,看当前状态判断任务是否完成,失败时给出改进建议。通过验证才入库,连续 4 轮失败就放弃、找课程要新任务。

消融显示 self-verification 是三类反馈里最重要的(去掉后物品数 -73%),因为它决定"何时切任务/何时重试"。另一个重要消融:把代码生成模型从 GPT-4 换成 GPT-3.5,物品数直接差 5.7 倍——整套方法严重依赖当时 GPT-4 独一档的代码能力。

评测:全部对比自己重实现的 NLP 基线

因为当时没有开箱即用的 Minecraft LLM agent,基线 ReAct、Reflexion、AutoGPT 都是作者在 MineDojo 里重新实现的移植版。主结果:160 轮 prompting 发现 63 种物品(3.3x)、木/石/铁级科技树分别快 15.3x/8.5x/6.4x、唯一摸到 diamond 级、地图移动距离 2.3x。零样本迁移:清空 inventory 扔进新世界,Voyager 能在 50 轮内解决 diamond pickaxe 等未见任务,基线全军覆没。注意所有倍数都是相对这些移植基线,不是相对像素输入的 RL 方法(VPT、DreamerV3 那条线刻意不比)。

• 160 轮 prompting 迭代发现 63 种独特物品,是 AutoGPT 移植版的 3.3 倍;ReAct/Reflexion 基本原地踏步(<5 种)。
• 科技树:木器快 15.3x、石器快 8.5x、铁器快 6.4x,唯一解锁 diamond 工具的方法。
• 消融:随机课程 -93%、去掉 self-verification -73%、去掉技能库后期 plateau(约 36 种)、GPT-3.5 代码生成差 5.7x——课程和自我验证比技能库本身对当期探索影响更大,技能库的价值在后期复利和跨世界迁移。
• 技能库零样本迁移:新世界 + 未见任务,Voyager 全部解决,基线 50 轮内一个都做不出;同一个技能库插给 AutoGPT 也能显著提升它。
• 成本:官方 FAQ 称 160 轮约 50 美元 GPT-4 费用;第三方实测约 40 美元、6 小时(issue #4)。
• 自认的局限:课程会幻觉出游戏里不存在的物品(如 copper sword),代码生成会拿 cobblestone 当燃料;self-verification 偶尔漏判成功。

对本组 continual-learning / 经验积累方向,这是必须精读的原型:它把"经验"具体化为三件事——可执行代码(而非自然语言 memory)、以描述 embedding 为 key 的检索、入库前的验证关卡(self-verification 通过才算技能)。消融给出的量化结论很有引用价值:课程(出题策略)和验证器比库本身更影响当期性能,库的价值体现在后期复利和迁移;这对设计任何 experience/memory 系统时"先投入哪个组件"是直接的指导。

可借鉴的具体做法:技能以函数为单位、要求写得通用可复用(prompt 里明说"会被复用");检索 query 用规划文本+环境反馈而非任务名;失败上限 4 轮就换任务防止死磕;技能库可以作为 plug-and-play 资产喂给别的 agent(论文用 AutoGPT 验证过)。局限同样值得记:技能是环境特定的 JS 代码,换个环境 API 全部作废——通用性问题是后续 skill library 工作(以及本组可做的点)的主要改进空间。