Automated Design of Agentic Systems (ADAS)
这是什么
2024 年中,大家已经积累了一堆手工设计的 agent 积木:Chain-of-Thought、Self-Refine、LLM Debate、工具调用、RAG……但把这些积木组合成对某个任务有效的 agentic system,仍然靠人肉调。这篇论文援引 ML 史上'手工设计终被学习取代'的规律(HOG 特征→CNN、手工架构→NAS),提出一个问题:agent 系统本身的设计能不能也被自动学出来?作者把这个方向命名为 Automated Design of Agentic Systems(ADAS),并按 AutoML 的套路把它形式化为三件套:search space(能表示哪些 agent)、search algorithm(怎么探索)、evaluation function(怎么打分)。
论文的核心主张是:search space 应该直接用编程语言(Python 代码)。因为代码是图灵完备的,理论上能表示任何 agent(prompt、工具、workflow 及其任意组合),而此前的自动化工作要么只优化 prompt(OPRO、PromptBreeder),要么把 agent 限制在图/网络结构里(GPTSwarm、DyLAN)。演示算法 Meta Agent Search 非常简单:meta agent(GPT-4)读着一个存放历届发现的 archive,每轮编写一个'有趣的新 agent'(一段 forward() 函数),在 validation 集上跑分后连同成绩存回 archive,循环 25-30 轮。
这篇是 ICLR 2025 论文 + NeurIPS 2024 Open-World Agent Workshop 杰出论文,S2 引用 293 次,GitHub 1.6k stars。它的实际影响主要在'定义问题'而非'给出最优解法':AFlow、MASS、AgentSwift、Darwin Gödel Machine 等后续工作都以它为共同起点,同时也几乎都把 Meta Agent Search 当作被超越的 baseline。
机制与做法
搜索空间:一个 forward() 函数
作者提供了一个不到 100 行的小框架,内置 LLM 查询、prompt 格式化等基础函数(做法参照 FunSearch)。meta agent 每轮只需要产出三样东西:新设计的动机说明、agent 名字、一段 forward(taskInfo) 的 Python 实现——输入任务信息、输出答案。所有 prompt、多角色协作、投票、反思循环都写在这段代码里,所以理论上任何 agent 设计都可以被表示。
搜索算法:archive + '有趣性'启发
算法本体是个线性循环:(1) archive 用 COT、Self-Refine、LLM Debate 等 5-7 个手工 baseline 初始化;(2) meta agent 以完整 archive(所有历史设计的代码+分数)为条件生成新设计,先过两轮 self-reflection 确认'新颖且有趣';(3) 在 validation 集上评测,报错则再反思修复,最多 5 次;(4) 连同分数写回 archive,进入下一轮。没有显式的探索-利用平衡,也没有淘汰机制,靠 prompt 里鼓励'interestingly new'来维持多样性——这是后续工作(AFlow 用 MCTS、MASS 分阶段优化)集中攻击的软肋。
分工上,meta agent 用 GPT-4,被评测的 agent 和 baseline 统一跑 GPT-3.5(省钱)。搜索预算:ARC 25 轮,四个推理 benchmark 各 30 轮。
实验:ARC 案例 + 四个推理 benchmark + 迁移
ARC 案例研究:从'Public Training Set (Easy)'里只取网格 ≤5×5 的题,采样 20 题做 validation、60 题做 test(注意:这是极简化子集,和 ARC 官方 eval 不可比)。搜索过程展示了'垫脚石'式演化:第 3 轮出现'多路 COT→refine→ensemble'的模式,第 5/11/12 轮分别出现多样反馈、专家评审、模拟人类反馈,最终的 Structured Feedback and Ensemble Agent 把三者组合起来,test 准确率 13.7%,超过最好的手工 baseline COT-SC(8%)。
四个 benchmark(DROP 阅读理解、MGSM 多语言数学、MMLU、GPQA):搜出的 agent 全面超过 7 个手工 baseline 和 OPRO,其中 DROP 79.4 F1(最好 baseline 65.8)、MGSM 53.4%(最好 baseline 39.0%)提升最大;MMLU 69.6% 和 GPQA 34.6% 提升就很小(baseline 约 66%/32%)。作者自己的解释:数学/阅读题错在幻觉和算错,workflow 能救;知识不够的题 workflow 救不了。
迁移性是卖点:MGSM 上搜出的 agent 直接搬到 GSM8K(+25.9%)和 GSM-Hard(+13.2%)仍大幅领先,搬到非数学域(DROP、MMLU)也不垮;ARC 上用 GPT-3.5 搜出的 agent 换 Claude-Sonnet 执行能到 48.3%(仍是那个 easy 子集)。
安全与展望
论文和 README 都明确警告:这个系统在执行模型生成的未经审查的代码,作者称做了容器化隔离和人工检查。讨论部分列了一串后续方向,其中'higher-order ADAS'(meta agent 自己也被 ADAS 改进,自指式自我改进)正是同组 2025 年 Darwin Gödel Machine 的伏笔。
关键结果
- DROP 阅读理解 79.4 F1 vs 最好手工 baseline 65.8(+13.6);MGSM 数学 53.4% vs 39.0%(+14.4%),均为 GPT-3.5 执行、GPT-4 做 meta agent。
- MMLU(69.6% vs 65.9%)和 GPQA(34.6% vs 31.6%)提升有限,且置信区间与多个 baseline 重叠——ADAS 的收益集中在'模型会做但容易出错'的任务上。
- 跨域迁移:MGSM 搜出的 agent 搬到 GSM8K +25.9%、GSM-Hard +13.2%;跨模型迁移:GPT-3.5 上搜出的 ARC agent 用 Claude-Sonnet 执行达 48.3%(手工 baseline 最高 39.3%)。
- ARC 实验只用'Public Training Set (Easy)'中 ≤5×5 网格的题(validation 20 题、test 60 题),GPT-3.5 上最好 agent 13.7%——不能与 ARC 官方榜单数字比较。
- 搜出来的高分设计几乎全是'多路生成 + 反馈 + 集成'的变体(5 路 COT、三个 expert 评审、human-like critic、refine 3 轮再 ensemble),本质是用推理时算力换准确率,单次查询的 token 开销远高于 COT。
- 搜索预算不大:每个域 25-30 轮迭代,每轮在 validation(多数域 128 题,GPQA 32 题)上评测;但第三方测算(MASS)一次 ADAS 训练约消耗 23M 输入 + 13M 输出 token。
实证核查
与我们方向的关系
对 ai4ai 方向,这篇的价值在'问题的形式化'而不是算法本身:search space / search algorithm / evaluation function 三件套现在是这个子领域的标准分析框架,读后续任何 agent 自动设计论文(AFlow、MASS、DGM)都要先对齐到这套语言。'用代码做搜索空间 + 用 LLM 的代码先验做搜索算子'的论证也直接影响了 Darwin Gödel Machine 的自指路线(同组、共同作者)。
可借鉴的教训有两条:一是评测设定的敏感性——用弱执行模型(GPT-3.5)+ 未调优 baseline 能把提升放大好几倍,我们自己做 agent 搜索实验时必须在至少两档模型上验证收益是否保留(MASS 的复现就是标准做法);二是简单线性 archive 搜索的天花板——不做经验压缩、不做探索-利用平衡,搜索会收敛到'更复杂的 ensemble',这正是 AFlow 用 MCTS + 操作符库、MASS 用分阶段 prompt/topology 优化改进的点。