AlphaGo Moment for Model Architecture Discovery (ASI-Arch)
这是什么
这篇论文想回答的问题是:能不能让 LLM 自主完成'神经网络架构研究'的全流程,而不是像传统 NAS 那样只在人类预先定义的搜索空间里调组合。作者把系统命名为 ASI-Arch,并给它设定了一个非常具体的战场:线性注意力(linear attention)机制,以 DeltaNet 为演化起点,基于 flash-linear-attention 和 FLAME 训练框架做真实训练验证。
系统由三部分组成:多智能体 pipeline(Researcher 提出动机并写 PyTorch 代码、Engineer 负责训练与自动 debug、Analyst 做实验分析)、MongoDB 架构数据库(存全部历史实验和演化谱系,FAISS 做想法去重)、以及一个 RAG 'Cognition Base'(约几百篇论文的结构化知识,供 agent 检索)。整个循环是:从 top-50 候选池采样父架构 → 演化出新设计 → 真实训练评测 → 分析入库。
宣传口径非常高:标题叫'AlphaGo Moment',摘要称之为'ASI4AI(Artificial Superintelligence for AI research)的首次演示',并声称建立了'科学发现本身的第一条 scaling law'。这些说法在社区引发不少反感(HN 上的典型评论:'如果真是 AlphaGo 级别的突破,轮不到作者自己来做这个类比')。值得注意的是,团队后来在 OpenReview 上以低调得多的标题 'Neural Architecture Discovery via Autonomous Evolution' 重新投稿。
机制与做法
两阶段探索—验证
探索阶段用 ~20M 参数模型、1B token 训练(2000 步,batch 256,GPT-2 tokenizer,FineWeb-edu 数据),每个 benchmark 只抽 500 条样本快速评测,共跑 1,773 个新架构、约 10,000 GPU 小时。从中筛出在 loss 和 benchmark 上都超过同规模 DeltaNet 的 1,350 个候选。
验证阶段把候选放大到 340M 参数(对齐 DeltaNet 配置)、1B token 训练约 400 个架构(再花 ~10,000 GPU 小时),其中 106 个超过基线,即论文所称的'106 个 SOTA 架构'。最后只挑 5 个(PathGateFusionNet、ContentSharpRouter、FusionGatedFIRNet、HierGateNet、AdaMultiPathGateNet)在 340M/15B token 设定下与 DeltaNet、Gated DeltaNet、Mamba2 正面对比。
Fitness 函数:定量 + LLM 评委
为了避免只优化 loss/benchmark 导致 reward hacking,fitness 由三部分组成:相对基线的 benchmark 提升、loss 提升(都过 sigmoid 变换,压平极端值、放大微小改进),再加一个 LLM-as-judge 从创新性、复杂度、实现正确性等维度打的主观分。父架构只从 top-50 候选池里采样,由 database 侧的 candidate_manager 维护。
一个值得注意的细节:演化的选择信号直接用了评测 benchmark(PIQA、HellaSwag、ARC 等)的分数,做了上千轮迭代选择,却没有独立的 held-out 测试集,对 benchmark 过拟合的风险论文没有正面处理(HN 上也有人指出这一点)。
自动化程度
工程上比较实在的部分:Engineer 模块带自动 debugger,训练报错时 agent 读日志改代码重试,使 pipeline 能无人值守连续跑;Novelty/Validity checker 结合 FAISS 相似度检索防止重复想法;所有实验(含失败)入库供后续 agent 检索。这套'自我积累经验'的基建是论文比多数 AI-scientist 类工作扎实的地方,代码在 repo 的 pipeline/、database/、cognition_base/ 三个目录里都能对上。
关键结果
- 1,773 次自动实验、约 20,000 GPU 小时,产出 106 个在 340M/1B token 设定下超过 DeltaNet 基线的架构,全部开源(repo 的 data/106.json,3.7MB,含代码与结果)。
- 最终 5 个精选架构在 340M 参数、15B token 训练后的平均 benchmark:最好的 PathGateFusionNet 为 48.51,对比 DeltaNet 46.54(+1.97)、Gated DeltaNet 47.32、Mamba2 47.84(+0.67);HellaSwag 上仍是 Mamba2 最高。提升是真实但很小,且规模远低于现代 LLM。
- 论文声称的'scientific discovery scaling law'实际是'累计发现的超基线架构数 vs GPU 小时'的近线性曲线(约 7,000 GPU 小时对应 106 个),没有拟合指数或任何可外推的定律形式,本质是吞吐量统计。
- 对发现架构的模式分析:好架构集中在 gating、卷积增强等少数设计主题(长尾分布);演化的'灵感来源'里,来自系统自身历史实验分析的占比随时间上升,超过来自文献 RAG 的部分——这是论文里比较有意思的一个观察。
- S2 引用数 21(截至 2026-08),GitHub 1.2k stars;repo 最后一次实质提交在 2025-12,无后续维护迹象,也未见第三方成功复现 106 个架构优势的公开报告。
实证核查
与我们方向的关系
对做 AI4AI / 自动化科研的同学,这是 2025 年'LLM 驱动架构发现'规模最大、开源最完整的一次尝试,值得借鉴的是工程件而非结论:带自动 debug 的无人值守训练循环、FAISS 想法去重、把历史实验分析回灌给 planner 的记忆机制、以及'定量指标 + LLM judge'的复合 fitness 设计(sigmoid 压平防 reward hacking)。这些模块可以直接拆出来用在自己的自动实验系统里。
同样值得学的是它的反面:如果要做类似工作,务必留独立 held-out 评测防止演化过程对 benchmark 过拟合、报告统计显著性(1,773 次实验里筛出 106 个,本身就有多重比较问题)、并在多于一个 scale 上验证'小模型上的赢家在大模型上仍然赢'——这正是本文没做、也是社区质疑最集中的三点。