ALE-Bench: A Benchmark for Long-Horizon Objective-Driven Algorithm Engineering
这是什么
主流代码基准(APPS、CodeContests、LiveCodeBench)都是短时、pass/fail 式的题目,前沿模型已接近饱和。ALE-Bench 转向另一类比赛:score-based 的启发式优化赛(AHC / Topcoder Marathon Match 一脉),题目是配送路径、排班、生产规划这类 NP-hard 问题,没有已知最优解,拼的是谁的近似解分数更高。这类比赛人类要花 4 小时(short 赛制)到 1-2 周(long 赛制)不断迭代,天然适合考察 AI 的长时程改进能力。
基准包含 40 道 AHC 真题(截至 2025 年 4 月,另有 10 题的 lite 子集),每题打包四件东西:Markdown 题面(含图)、Rust 官方 scorer、可视化器(静态图 + 本地 web 交互两种模式)、真人排行榜数据。数据由 AtCoder 官方授权,评分协议完全复刻原赛制,因此 AI 的成绩可以直接换算成在真人榜上的 rank 和 performance(Elo 式,0-3500)。软件框架是一个 Python session 对象:开题即计时,agent 可以在限时内反复 view problem / test run(public eval)/ visualize,最后 submit 触发隐藏测试集的 private eval。
论文同时给了一个专用 agent 原型 ALE-Agent 作为强 baseline,并以 AtCoder 许可用它实名(账号 fishylene)参加了两场真实比赛,其中 AHC047 拿到 21 名(1000+ 人,前 2%)。NeurIPS 2025 Datasets & Benchmarks 接收。
机制与做法
评测协议:复刻真人参赛体验
AI 通过 ale_bench.start(problem_id=...) 开一个 session,真实计时模拟赛程。code sandbox 是 Docker 封装的 AtCoder 执行环境,支持 C++/Python/Rust;高分解法通常是 CPU 密集的(每 case 限时 2-10 秒),结果对硬件敏感,所以官方提供 Terraform 脚本在 AWS c6i 实例上标准化评测,并用 AHC039 官方榜验证过分数可完全对上(ALE-Agent 的分数恰好对应原赛 5 名)。
指标分两层:单题记 score、rank、performance;跨题聚合用 average performance 和 AtCoder rating。论文明确建议用 average performance 而不是 rating——rating 的设计是奖励高分不惩罚低分,一次爆种就能把 AI 的 rating 抬得虚高。
主实验:one-shot、4 小时迭代、scaffolding 三档
评了最多 22 个模型。one-shot 下只有 o3-high 平均 performance 过 1000,且所有模型没有任何一题达到 2000,reasoning 模型整体强于非 reasoning。4 小时 iterative-refinement(类 Self-Refine,吃 public eval 反馈)让所有模型平均 performance 提升 400+,最好的 o4-mini-high 达到 1520 / rating 2104(名义上前 11.8% 人类)。
scaffolding 一档对比了通用 agent OpenHands(几乎没提升,常提前退出)和专用 ALE-Agent。ALE-Agent 就两招:Method 1 在 prompt 里注入领域知识(模拟退火、beam search、邻域设计、加速技巧);Method 2 用 best-first + beam 式扩展做多样性解搜索,一次 4 小时能生成约 1000 份候选代码。Method 2 带来大头提升,最终在人类分布上进前 6.8%。
反刷分检查:长时程 vs 并行暴搜
作者自问:高分究竟来自真正的迭代改进还是海量独立采样?他们挑了 6 道 o4-mini-high 迭代模式拿到 2000+ performance 的题,每题独立跑 150 次 one-shot(与迭代模式的平均代码生成次数持平)。结果 150 次里的最好成绩仍系统性低于迭代模式约 300 performance,说明基准确实在测反馈驱动的改进而不是暴搜。
另做了污染检查(各模型 performance 对比赛日期作散点,knowledge cutoff 前后无跳变)和抄袭检查(AHC 主办方作者人工审了全部 12 份 2000+ performance 的 AI 代码,未见与人类题解雷同)。
关键结果
- one-shot 下 22 个前沿模型没有一个在任何题上达到 performance 2000,只有 o3-high 平均过 1000;基准远未饱和。
- 4 小时迭代反馈让所有模型平均 performance +400 以上;o4-mini-high 达 1520,rating 2104(名义前 11.8% 人类)。
- 但 rating 高估了 AI:o4-mini-high 拿 ≥1600 performance 的题只占 32.5%,远低于同 rating 段人类的 56.2%,更接近 rating 1600-1700 的人;按 average performance 只排前 22.3%。AI 强弱题差异比人类大得多。
- AI 在 short 赛制(4 小时)相对更强,long 赛制(1-2 周)明显更弱——短赛里 AI 靠 100+ 次代码生成的速度优势碾人,长赛需要的深度方案设计还差得远;且偏科于适合模拟退火的题型。
- ALE-Agent(Gemini 2.5 Pro + 领域知识 prompt + 多样性搜索,约 1000 候选/题)在 lite 集进人类前 6.8%;真实参赛 AHC047 得 21/1000+(前 2%),AHC046 得 154 名(前 16%)。
- 150 次独立 one-shot 的最好成绩比同预算迭代模式低约 300 performance,支持'测的是长时程改进而非暴搜'。
- 通用 agent OpenHands 在此基准上几乎无提升,常提前退出——通用 scaffolding 不适配这类无终止判据的优化任务。
实证核查
与我们方向的关系
对 ai4ai 方向这是核心参照物:它定义了'无 ground truth、只有分数梯度'的长时程优化任务该怎么评——真实计时 session、public/private 双评、与人类排位直接对账、反暴搜对照实验、污染与抄袭检查,这套核查纪律值得任何自建 benchmark 抄作业。它与 AutoML/科研 agent 的区别在于反馈信号极干净(一个标量分数),适合作为研究'反馈驱动的长程改进'的受控环境。
ALE-Agent 的教训也直接可用:通用 agent(OpenHands)在这类任务上近乎无效,而'领域知识 prompt + 多样性 best-first 搜索'两个朴素组件就能从前 50% 拉到前 6.8%,说明 inference-time search 的结构设计比基座模型更换收益大。后续 Sakana 的 ALE-Agent 演进(以及 AtCoder 因此专门立的 AI 参赛规则)可持续跟踪。