MLR-Copilot: Autonomous Machine Learning Research based on Large Language Models Agents
这是什么
MLR-Copilot 是较早的端到端 ML 研究自动化尝试,输入一篇研究论文,输出研究想法(hypothesis + experiment plan)和可执行的实验结果。整个流程分三个阶段:IdeaAgent 读论文生成想法与实验计划;ExperimentAgent 检索 prototype 代码(可选从 HuggingFace 检索模型和数据)把计划翻译成可执行代码;最后执行实验,支持迭代 debug 和人类反馈。与后来的 AI-Scientist 那类'全自动写论文'不同,它定位是 copilot——execution 阶段明确依赖 optional human feedback 来提高成功率。
论文 2024 年 8 月挂 arXiv(与 AI-Scientist 几乎同时),此后持续修订:后期版本给 IdeaAgent 加上了 RL 微调(用 OpenReview 上收集的 4,271 篇 ICLR/NeurIPS 2023-24 论文的评审反馈训练 novelty/feasibility/effectiveness 三个 reward model),实验表格里也补进了 Claude-3.7 的结果。S2 引用 67 次,作为早期流水线设计的背景参考。
机制与做法
三阶段流水线
Stage 1 想法生成:IdeaAgent 通过 Semantic Scholar API 抽取输入论文的 title/abstract/intro/related work,生成 research hypothesis 和 experimental plan。后期版本中该 agent 是 RL 微调过的 Llama3(沿用作者另一篇 idea-generation 训练工作 arXiv:2412.14626 的方法,训练代码不在本 repo)。Stage 2 实验实现:ExperimentAgent 以检索到的 SOTA prototype 代码为起点,可选从 HuggingFace 检索候选模型/数据集,把 plan 转成可执行代码。Stage 3 执行:跑实验、迭代 debug、接受人类反馈修正。
评测方式与结果
想法质量:5 位专家(发表 ≥3 篇论文)对 45 个 hypothesis 按 clarity/validity/rigor 等 5 维打 Likert 分,外加 GPT-4 自动评分;IdeaAgent 略优于 BaseLLM 和 ResearchAgent(如 manual clarity 4.4 vs 3.7/4.2),与原论文 hypothesis 的相似度更低(0.13 vs 0.32)。执行效果:在 SemRel、IMDB、spaceship-titanic、feedback(ELLIPSE)、identify-contrails 5 个任务上各跑 8 次(有人工指令辅助),one-pass prompting baseline 全部执行失败(成功率 0%),本框架 Claude-2.1/GPT-4/Claude-3.7 成功率分别为 27.5%/40%/50%,平均比 prototype 提升 38%~44%。执行引擎大量复用 MLAgentBench 的代码(repo 中 reactagent/ 目录,MIT license 保留)。
关键结果
- 执行成功率(比 SOTA prototype 提升 ≥10% 记为成功,8 trials、有人工指令辅助):Claude-3.7 50%、GPT-4 40%、Claude-2.1 27.5%;one-pass prompting baseline 为 0%,全部因无法处理运行时错误而失败。
- 最难的任务是 identify-contrails(卫星图像分类):Claude-2.1 成功率 0%,Claude-3.7 也只有 12.5%;最容易的是 spaceship-titanic(表格数据,75%)。
- 想法评测中 IdeaAgent(RL 微调 Llama3)对 ResearchAgent 的优势不大:manual 5 维平均约 4.1 vs 3.9,主要差异在自动评测(GPT-4 打分)上被放大。
- 论文自己的框架图和 README 都明确 human feedback 是流程的一环——'autonomous' 更多是营销措辞,实际是 human-in-the-loop copilot。
实证核查
与我们方向的关系
作为 autoresearch 方向的早期背景条目,它的价值在于确立了后来被反复沿用的三段式分解:ideation(读文献生成 hypothesis + plan)→ implementation(prototype 检索 + 代码生成)→ execution(跑实验 + debug 循环 + 人类反馈)。对比同期的 AI-Scientist 可以看到两条路线的分岔:MLR-Copilot 选择 human-in-the-loop 且以'改进现有 prototype'为目标,更务实但天花板低;AI-Scientist 追求全自动出论文。它对 MLAgentBench 执行环境的直接复用也说明:这一代系统的'实验执行'能力大多是同一套 ReAct 式代码环境的变体,真正的差异在 ideation 和检索环节。