MLGym: A New Framework and Benchmark for Advancing AI Research Agents
这是什么
MLGym 是 Meta GenAI 与 UCSB 合作的 AI research agent 基础设施:把'给一份 baseline 代码和数据集,让 LLM agent 通过 shell 命令做实验、改代码、训模型、刷指标'这件事标准化成 Gymnasium 环境。配套的 MLGym-Bench 收录 13 个开放式任务,横跨数据科学(房价回归)、CV(CIFAR-10、Fashion-MNIST、MS-COCO captioning)、NLP(MNLI、基于 modded-nanogpt 的语言建模)、RL(Gymnax 的三个环境)、博弈论(囚徒困境、性别之战、Colonel Blotto)和算法推理(3-SAT 启发式优化)。
论文提出了一个 0-5 级的 AI Research Agent 能力分级:Level 0 复现已有论文、Level 1 改进给定 baseline、Level 2 无 SOTA 信息下达到 SOTA、Level 3 做出可发表的新贡献,以此类推。作者明确承认 MLGym-Bench 只覆盖 Level 1(给 baseline 让 agent 往上改),这个定位比 MLE-Bench(Kaggle 式)更偏'研究工作流',但离'自动做研究'还很远。
与 MLAgentBench、MLE-Bench 的主要区别在于工程设计:agent 与环境解耦(可以换任意脚手架公平对比底座模型)、任务/数据集用 YAML 配置定义、评测用任务自带的脚本而非统一提交 CSV(所以能容纳 RL、博弈论这类没法用 Kaggle 格式评的任务)。2025-08 的仓库 commit 显示论文更新了 COLM 2025 版本的结果。
机制与做法
Gym 式四组件架构
框架分 Agent、Environment、Datasets、Tasks 四个解耦组件。Environment 是标准 Gymnasium 环境:在 docker/podman 容器里起一个 shell,装好任务依赖,把数据和 starter code 拷进独立 workspace,然后循环执行 agent 发来的 bash 命令并返回输出。安全上用非 root 的 agent 用户 + 文件权限管理:数据集和评测脚本对 agent 只读,agent 可以看评测逻辑但改不了,防止 reward hacking 式作弊。
Agent 组件只是底座 LLM 的包装(历史处理、成本管理),默认脚手架改自 SWE-Agent 的 ReAct 循环:每步一条命令,不允许交互式会话(REPL/vim),上下文只保留最近 5 轮交互。这种解耦意味着可以固定脚手架换模型,也可以固定模型换脚手架。
任务定义与评测协议
每个任务是一个 YAML:数据集(本地或 HF)、只读评测脚本、conda 环境、可选 starter code、训练超时(防止 agent 单纯堆参数量刷分)。评测不用 MLE-Bench 那种统一交 CSV,而是每个任务自带 evaluate 脚本——RL 任务评固定 seed 下训出的策略的平均回报,博弈论任务拿 agent 写的策略函数和固定对手打 20 轮。
跨任务聚合用运筹学的 performance profile + AUP(area under performance profile)分数,避免不同量纲指标直接平均的问题;不能打败 baseline 或交不出合法方案的模型按 baseline 分数乘 1.05 惩罚计入。每个模型每任务跑 4 个 seed,上限 50 步;分别统计 Best Attempt(过程中 validate 出的最好成绩,代表能力上限)和 Best Submission(最终提交,代表'记得住最优解'的能力)。
工具与 ACI:论文实验只用了基础款
工具沿用 SWE-Agent 的搜索/文件查看/编辑命令,加上 validate(不结束 run 查测试集分数,可无限次用)和 submit(终局动作)。扩展了两组新工具:literature_search/parse_pdf_url(查 Semantic Scholar 并解析 PDF)和 memory_write/memory_read(嵌入检索式实验日志,给长任务续命上下文)。
值得注意的细节:论文正文明确写了'本文所有实验 agent 只用 SWE-Agent 工具和 validate 命令'——也就是说文献检索和 memory module 只是框架功能展示(附录给了 memory 帮助恢复最优配置的案例截图),主结果表并没有用上,不要把这两个模块当成有 benchmark 验证的结论。
行为分析:编辑循环为主,几乎不搜索
220 条轨迹(11 任务 x 5 模型 x 4 seed)的动作统计:Edit 占全部动作的 50%,配合 View/Python/Validate 构成'改代码-跑实验-看分数'的迭代循环;Search 类命令只占 1%。终止原因里 75% 是 Evaluation Error(提交物缺失或格式不对),GPT-4o 失败率最高、动作数最少(要么报错要么过早 submit),Claude-3.5-Sonnet 成绩好但失败率也高,Gemini-1.5-Pro 是唯一没交过非法方案的模型。
成本-性能 Pareto:o1-preview AUP 最高但平均每 run 约 $9,是最贵的;Gemini-1.5-Pro 约便宜 9 倍还能拿到 o1 99% 的 AUP,是性价比最优点。
关键结果
- o1-preview 综合最强:Best Attempt AUP@4 = 1.150、Best Submission AUP@4 = 1.176,均列第一;Claude-3.5-Sonnet(1.142/1.135)和 Gemini-1.5-Pro(1.140/1.125)紧随其后,GPT-4o 垫底(1.000/1.029)。
- 所有模型都能在多数任务上打败 baseline(如 CIFAR-10 从 49.7% 提到 Claude 的 89.5%),但手段清一色是调超参、换标准架构组件——论文自己承认没有观察到任何新假设、新算法或实质性创新,这是对'AI 自动做研究'现状最有分量的负面证据之一。
- 单任务上没有全能王:Claude 拿下 CIFAR-10/Fashion-MNIST/Blotto/MetaMaze,Gemini 拿下 Breakout/MNLI,o1 拿下语言建模/MountainCar/房价。Llama-3.1-405B 在语言建模、GPT-4o 在 Breakout 上 4 个 seed 全军覆没(一个合法方案都交不出)。
- Gemini-1.5-Pro 成本约为 o1-preview 的 1/9,却达到其 99% 的 AUP,是论文给出的性价比最优选择。
- 失败模式:75% 的终止错误是 Evaluation Error(提交物不合法);动作分布中 Edit 占 50%、Search 仅 1%,agent 基本不查资料,靠内部知识迭代。
- 每模型每任务只跑 4 seed、50 步、$4 成本上限,开放式任务下方差不小,单任务分数的可比性有限,AUP 聚合分更可靠。
实证核查
与我们方向的关系
对想做 autoresearch 方向的同学,MLGym 的价值主要在基础设施而非结论:agent/环境解耦 + YAML 任务定义 + 脚本式评测的设计,是目前把'开放式研究任务'塞进可复现评测框架的较好范本,自己攒 research agent 评测时可以直接借用它的 performance profile/AUP 聚合方法和 Best Attempt vs Best Submission 的双指标设计(后者暴露了 agent '做出过好结果但最终没交上来'这一类真实失败)。
但如果目标是用 RL 训练自己的 research agent,要清楚 MLGym 目前只提供环境接口,训练循环需要自己写(或等他们迟迟未兑现的 TorchRL 集成);且 13 个任务里多数是 Level 1 调参型任务,reward 信号(beat baseline 的幅度)对训练来说相当稀疏。它更适合当评测床和 trajectory 数据来源(220 条现成轨迹可以直接拿来做行为分析或 SFT 数据研究),Meta 自己 2025 年 7 月的后续工作 AIRA 也转向了 MLE-Bench 做搜索式 agent,可对照阅读。