Eureka: Human-Level Reward Design via Coding Large Language Models
这是什么
在机器人 RL 里,奖励函数设计是出了名的又难又靠试错:Booth 等人调查过,92% 的 RL 研究者依赖手工 trial-and-error 设计 reward。Eureka 的想法是把这件事外包给 coding LLM——不是让 LLM 直接控制机器人(高层规划那条路),而是让它写 reward 代码,再交给标准 RL(PPO)去训练低层策略,从而打通 LLM 与灵巧操作这类低层技能之间的断层。
方法上没有任何任务特定的 prompt 模板或 reward 词表:直接把环境源码(去掉原有 reward 部分)加一句任务描述喂给 GPT-4,让它零样本生成可执行的 Python reward 函数,然后用 RL 训练结果作为文本反馈做 in-context 的进化优化。评测覆盖 IsaacGym 9 个原生任务加 Dexterity 双手 Shadow Hand 基准全部 20 个任务,共 10 种机器人形态。这两个基准都是在 GPT-4 知识截止(2021-09)之后发布的,基本排除了背题的可能。
这篇是 ICLR 2024 论文,S2 引用约 715 次,是 'LLM 自动设计 RL 训练组件' 这条线的代表作;后续 DrEureka(sim-to-real 域随机化)、Eureka 用于四足等工作都沿这条路。代码 MIT 协议开源,3.1k stars,含转笔 policy checkpoint。
机制与做法
Environment as context:源码即规格说明
不写环境的自然语言规格,而是直接把环境的 Python 源码(observation/state 变量定义部分)作为 context。仓库里 eureka/envs/*/xxx_obs.py 就是用 prune_env.py 自动裁出来的片段——只保留 compute_observations 等暴露状态变量的代码,去掉 reward 相关部分,既省 context 又防止泄露人类 reward。LLM 拿到后直接组合 fingertip_pos、obj_angvel 这类现成变量写出 compute_reward 函数,要求把各奖励分量以 dict 形式暴露(为后面的 reflection 服务)。
进化搜索 + reward reflection
每轮从 LLM i.i.d. 采样 K=16 个 reward 候选,各自跑一遍完整 PPO 训练,用任务 fitness 函数 F 打分;由于采样独立,'全部候选都有 bug' 的概率随样本数指数下降,16 个足以保证首轮至少有一个能跑。取最优者,把训练过程中各奖励分量和 task metric 在 10 个 checkpoint 上的数值序列写成文字(reward reflection),连同 mutation prompt 一起喂回 LLM 生成下一轮候选。共 5 轮迭代 × 5 次独立重启。
Reflection 的关键在于细粒度归因:光给最终 fitness 分数说明不了 reward 为什么不行,而分量级的训练曲线能让 LLM 做针对性修改——调超参、改某个分量的函数形式、或新增分量。消融显示去掉 reflection(只喂 F 的数值)后 Isaac 任务平均归一化分数掉 28.6%;'不进化、首轮直接采 32 个样本' 的消融也明显不如迭代两轮的 Eureka,说明进化循环不可省。
两个延伸:gradient-free RLHF 与课程学习转笔
因为整个优化都在 context 里进行,人类反馈可以无缝插入:(1) 把人类写的 reward 当作第一轮输出,Eureka (Human Init.) 在所选 Dexterity 任务上一致优于纯 Eureka 和纯 Human,说明它能当 'reward 助手' 用;(2) 用人类文字点评替代自动 reflection 教 Humanoid 跑步,得到的策略跑得慢些(7.53→5.58 前进速度)但 20 个受试者中 15 人更偏好其步态——一种不更新模型权重的 RLHF。
转笔任务用课程学习拆解:先用 Eureka reward 训一个 '把笔转到随机目标姿态' 的策略,再用同一 reward 微调去连续跟踪转笔姿态序列。从零直接训或只用预训练策略都完成不了一个循环,微调后能高速连转多圈。物理参数未做任何修改,仓库里放了 EurekaPenSpinning.pth checkpoint 可复现可视化。
关键结果
- 29 个任务上 83% 超过人类专家 reward,平均 human normalized score 提升 52%;Isaac 9 个任务全部持平或超过人类,Dexterity 20 个任务中 15 个胜出。
- Dexterity 上 Eureka 平均成功率 55.3%,对比 Human 45.9%、模板法 L2R 24.4%、Sparse 10.4%;L2R 在 CartPole 等低维任务上尚可,在高维灵巧手任务上大幅落后。
- Eureka 生成的 reward 与人类 reward 大多弱相关,任务越难相关性越低,个别任务上负相关却表现更好——说明它在发现与人类直觉不同的 reward 设计。
- 去掉 reward reflection,Isaac 平均归一化分数下降 28.6%;高维任务退化更严重。
- 换 GPT-3.5 后性能下降但多数 Isaac 任务仍达到或超过人类水平,方法对 LLM 质量不敏感。
- Human Init. 版本在所选任务上一致优于纯 Eureka 与纯 Human;作者由此推测:人类擅长挑相关状态变量,但不擅长用它们组合出好 reward。
实证核查
与我们方向的关系
对 ai4ai / 算法发现方向,这是 'LLM 生成代码 + 真实训练结果做适应度 + in-context 进化' 这一范式最干净的实例:搜索对象是可执行程序而非超参数,fitness 来自跑真实验,LLM 负责变异算子。这个循环结构与 FunSearch、AlphaEvolve 同构,可以直接借鉴到任何 '要设计的组件可以写成代码、且有自动评测' 的问题上——loss 函数、数据增广、优化器 schedule 都是候选。
两个可复用的工程细节:(1) reward reflection 的设计——要求生成的代码把中间量以 dict 暴露,再把训练动态转成文字反馈,给了 LLM 分量级的归因信号,消融证明这比只喂最终分数好 28.6%,做 LLM 迭代优化时值得照抄;(2) i.i.d. 多采样对抗生成代码的 bug 率,比让 LLM debug 单个样本更省事。主要成本警告:每个候选都要完整训练,预算按 '迭代数 × 批量 × 单次训练成本' 线性增长,只有评测便宜(或可并行)时这套才划算。