这是什么
FunSearch、EoH、AlphaEvolve 这条『LLM + 进化搜索发现算法』的线在 2023-2025 年爆发式增长,但之前的综述要么只覆盖窄子领域(比如 LLM+进化计算),要么目标不同(通用代码生成)。这篇综述由 EoH 的作者团队(City University of Hong Kong 的 Fei Liu / Qingfu Zhang 组,含华为诺亚方舟合作者)撰写,2024 年 10 月挂 arXiv,后被 ACM Computing Surveys 接收,是这个方向目前最系统的领域地图。
方法上它做了正经的 systematic review 流程:在 Google Scholar / Web of Science / Scopus 上用标题关键词组合检索,截至 2025 年 10 月收到约 3000 篇,经两轮筛选(排除非算法设计的通用代码生成)缩到 150 篇,再通过 backward snowballing 和专家补充到 180+ 篇。范围界定很明确:算法采用 CLRS 的经典定义(含 heuristics/metaheuristics),排除『仅把已有算法翻译成代码』的工作,也排除小模型。
核心贡献是双轴组织:纵轴是 LLM 的四种角色——LLMaO(LLM 当黑盒优化器直接生成解,如 OPRO)、LLMaP(当性能预测器/代理模型)、LLMaE(从文本/代码中抽取特征或知识)、LLMaD(直接设计算法或组件,如 FunSearch/EoH/Eureka/ADAS/AlphaEvolve);横轴是算法设计的三阶段(ideation、implementation、evaluation)。统计显示 LLMaD 占了被综述文献的 59.7%,即领域重心明确在『LLM 直接写算法』这条线上。
机制与做法
四角色分类学(每类都给了 advantages/limitations 的对称讨论)
LLMaO:LLM 在算法框架内当黑盒优化器,基于问题描述和历史轨迹直接产生新解(OPRO、LMEA、EvoLLM),automatic prompt optimization 也被归到这类。作者指出的硬伤:黑盒无理论保证(仅有少量用线性算子近似 LLM 行为、限定条件下分析收敛的初步工作)、对 prompt 和领域先验敏感、大规模实例下 token 成本爆炸——现有工作基本都停留在小规模实例。
LLMaD 是重头戏:从函数设计(Eureka 的 reward function、FunSearch 的多岛进化)到完整启发式(EoH、LLaMEA、ReEvo、HSEvo,以及 MCTS / large neighborhood search 等非进化搜索框架)、多目标版本 MEoH,再到 agent 设计(ADAS 的 meta agent search)。limitations 部分说得很实在:LLM 还合成不了完整的 SOTA 求解器,绝大多数工作只针对组件(heuristic、reward function、代码片段);单靠 LLM 缺领域知识,有效系统都必须套在『生成-执行-测试-反馈』的搜索框架里。
三阶段视角与应用域
把算法设计拆成 ideation(问题形式化、算法概念设计)、implementation(代码生成、算法优化)、evaluation(性能测试、算法分析)三阶段,论证 LLM 可以在每一阶段介入,且评估阶段(LLM 分析算法行为、当 judge)是目前最薄弱的环节。应用域分三块:优化算法(组合优化为主,即 EoH/FunSearch 的主战场)、ML 系统与数据科学(NAS、reward design、agent workflow)、科学与符号域(方程发现如 LLM-SR、数学构造如 FunSearch 的 cap set)。
挑战部分列了五条:scalability(大实例 token 成本)、generalization(设计出的算法对分布外实例泛化差)、interpretability、efficiency、benchmarking(缺统一 benchmark,不同论文的 baseline 和预算不可比)。这五条基本就是课题组做 AI4AI 实验时会实际撞上的坑清单。
配套生态
作者组围绕综述维护了一个生态:GitHub 论文列表仓库(LLM4Opt,后改名 LLM4AlgorithmDesign,395 stars)、开源平台 LLM4AD(100+ 任务、10+ 方法的统一实现)、GECCO/CEC/WCCI 的 tutorial 和 competition 系列。综述本身在 arXiv 上持续改版(v1 2024-10 → v5 2026-01),v4/v5 是配合 CSUR 录用的大改,检索截止拉到 2025-10-01(manuscript.tex 明写 'as of October 1, 2025'),新增了 AlphaEvolve、BLADE 等 2025 年工作。
关键结果
- 文献筛选漏斗:约 3000 篇候选 → 标题摘要筛到约 500 → 全文复审到 150 → snowballing 补到 180+ 篇(截至 2025-10)。
- 四角色分布:LLM as Designer 59.7%、Optimizer 22.8%、Predictor 10.7%、Extractor 6.7%——领域重心明确在 LLMaD。
- LLMaD 的现实边界(作者自己承认):目前 LLM 只能可靠地设计算法组件(heuristic、reward、代码片段),完整 SOTA 求解器的端到端合成还做不到,AlphaEvolve 也是在人给定的骨架内演化。
- LLMaO 的理论现状:黑盒、无收敛保证,仅有线性算子近似和限定条件收敛分析等零星尝试;实验基本限于小规模实例。
- 五大开放挑战:scalability、generalization、interpretability、efficiency、benchmarking(领域缺统一评测协议)。
- S2 引用 114 次(CSUR 版 2025 年发表);抽查 60 条引用语境,多篇后续论文(ATLAS、MacroAgent 等)直接沿用四角色分类学来定位自己的工作。
实证核查
与我们方向的关系
对课题组这是 ai4ai / algorithm-discovery 子方向的『地图』条目,用法明确:入门第一篇读它的 Section 3(四角色)+ Section 6(五挑战),然后顺着 LLMaD 那条线接站内的 mathematical-discoveries-from-program-search(FunSearch)→ alphaevolve → openevolve/shinkaevolve;LLMaO 线接 large-language-models-as-optimizers-opro;agent 设计线接 automated-design-of-agentic-systems-adas。选题时先查它的 taxonomy 确认自己的想法落在哪个象限、该象限的 limitations 是否就是你要打的点——比如 LLMaO 的理论空白和 LLMaD 的『只能设计组件』边界都是现成的切入口。
两个使用注意:一是它的检索截止 2025-10-01,GPU kernel 发现(AI CUDA Engineer、KernelBench、Kevin)和 2025 下半年之后的开源演化框架不在图上,这块要靠站内条目自己补;二是作者组就是 EoH 阵营,对 EoH 系工作的评价当作一手材料看,对竞品线(如纯 RL 路线 AlphaDev/AlphaTensor)的着墨相对薄。