Evolutionary Computation in the Era of Large Language Model: Survey and Roadmap
这是什么
这篇综述回答一个问题:LLM 和进化算法(EA)这两套看似不相干的东西,为什么天然互补、以及现有工作是怎么把它们拼起来的。作者的论证是:LLM 有生成能力、领域先验和文本处理能力,但搜索是 one-shot 的、受 prompt 和训练数据束缚,缺乏迭代式全局探索;EA 恰好是黑盒迭代全局搜索的老手,但缺领域知识、传统上只处理数值编码。两边的短板刚好是对方的长板。
全文按三大类组织:(1) LLM-enhanced EA——LLM 当进化算子做黑盒优化(OPRO、LMX、LLM4MOEA),或直接生成优化算法(EoH、ReEvo、LLaMEA);(2) EA-enhanced LLM——用 EA 做 prompt 优化(EvoPrompt、Promptbreeder)、LLM 架构搜索(AutoBERT-Zero)、模型 merge/prune(Sakana 的 Evolutionary Model Merge);(3) 两者协同驱动的应用——代码生成(ELM、FunSearch、Eureka)、软件工程、NAS、其他生成任务。最后给了一个 Method + Theory + Application 三层的 roadmap。
定位上它是「教材式地图」而非方法论文:没有实验,价值在分类学、200+ 文献的整理和逐节的批判性讨论(每个子方向都指出了现有方法的局限)。2024-11 被 IEEE Transactions on Evolutionary Computation 接收。
机制与做法
LLM-enhanced EA:LLM 进入进化循环的两个层次
第一个层次是 LLM 当搜索算子:把种群里的解序列化成文本放进 prompt,让 LLM 做 crossover/mutation/选择,典型如 OPRO(把优化轨迹写进 prompt 让 LLM 提出新解)和 LMX(few-shot 拼接父代做交叉)。综述对这条线的态度相当克制:指出已验证的只是小规模数值问题,高维、强约束、高精度场景下受 context 长度和数值理解能力限制,且「优化能力来自推理还是随机性」尚无定论——这个批判后来被多篇 evaluation 论文(如 GECCO'24 的 Critical Examination)证实。
第二个层次是 LLM 生成算法本身:不让 LLM 逐步出解,而是让它写出完整的启发式算法代码,再用进化框架筛选改进,代表是 EoH/AEL、ReEvo、LLaMEA。这条线就是站内 FunSearch → AlphaEvolve 一脉的谱系源头,综述把它们归入「代码生成」应用一并讨论。
EA-enhanced LLM:黑盒设定下的外围优化
反方向的核心场景是:商用 LLM 参数不可见,梯度方法失效,EA 作为经典黑盒优化器接管外围可调的东西。最热闹的是 prompt 优化——离散 prompt 进化(EvoPrompt、Promptbreeder、GPS)、gradient-free soft prompt(BBT/BBTv2)、以及安全向的进化式 jailbreak(AutoDAN)。综述点出这条线的三个坑:初始种群敏感、搜索空间随 prompt 长度指数增长、效果强依赖 LLM 本身的理解能力导致不稳定。
另外两块是 EA 做 LLM 架构搜索(多为 BERT 时代工作,如 AutoBERT-Zero、AutoTinyBERT,对现代 decoder-only 大模型基本没实践)和模型 merging/pruning(Sakana 的 Evolutionary Model Merging 是代表,这块在 v3 之后反而成了活跃方向)。
Roadmap:三层七个方向
路线图按 Method + Theory + Application 组织:方法层要解决大规模/带约束优化、更自动化的 EA(多模态 LLM 做跨模态进化算子)、稳健的 prompt 进化;理论层呼吁对 LLM+EA 组合做收敛性/复杂度分析(至今仍几乎空白);应用层指向复杂任务的模块化代码生成、通用 NAS 和更高层任务(repository 级软件工程、电路设计、agent 自进化)。事后看,「复杂任务代码生成」和「agent 自进化」两条被 2025 年的 AlphaEvolve、EvoAgentX 等工作命中,理论方向则基本无人跟进。
关键结果
- 三分类 taxonomy(LLM-enhanced EA / EA-enhanced LLM / integrated synergy)是本文最大的输出,后续引用文献直接沿用这套框架描述领域结构(如 2026 年 MEPO-SLM 称其为 'the most comprehensive survey of the intersection')。
- S2 引用 222(2026-08),发表于 IEEE TEVC(进化计算领域头部期刊),是 LLM×EC 交叉方向被引最多的综述。
- 对 LLM 直接当黑盒优化器一线给出明确保留意见:仅在小规模数值问题上部分验证、受 prompt 长度和数值精度限制、机制不明——与站内 OPRO 条目的核查结论一致。
- 把 FunSearch、Eureka、EoH 等「LLM 生成算法 + 进化筛选」的工作统一放进 code generation 视角,指出共性瓶颈:复杂算法逻辑需要多代码片段协作,单函数进化难以处理——这正是后来 AlphaEvolve(整文件进化)针对性解决的问题。
- 配套 GitHub repo(wuxingyu-ai/LLM4EC,147 stars)按同一分类学维护论文索引,收录约 150 篇,持续更新到 2025-03。
实证核查
与我们方向的关系
课题组把它当【2024 年版领域地图】用:读 AlphaEvolve/OpenEvolve/ShinkaEvolve 之前先过一遍第 II.B 节(LLM 生成优化算法)和 IV.A 节(code generation),能把 FunSearch→EoH→ReEvo 这条谱系和站内条目对上号;做 prompt 进化(对照站内 Promptbreeder、GEPA)先读 III.A 节的三个坑(初始化敏感、空间爆炸、不稳定),GEPA 的 reflective mutation 正是对这些坑的回应。它和站内另一篇 LLM for Algorithm Design 综述互补:本篇以 EC 社区视角纵向切(双向增强),那篇以 LLM 角色横向切,查文献两篇一起用。
注意时效边界:2025-05 之后的工作(AlphaEvolve 系、GEPA、ASI-Arch、agentic workflow 进化)一律不在其中,追新只能靠站内条目和 LLM4AD 的 living list。它的 roadmap 里「理论分析 LLM+EA 收敛性」至今仍是空白,若组里有人想做偏理论的坑,这是一个被点名两年没人填的方向。