Nested Learning: The Illusion of Deep Learning Architectures
这是什么
这是 Titans(2024)、Miras、ATLAS 一路下来 Ali Behrouz 系列工作的"理论收官":与其继续一个个发新架构,这篇直接提出一个统一框架 Nested Learning(NL),声称深度学习里的几乎所有东西——MLP、attention、线性 RNN、甚至 SGD/Adam/Muon 这些优化器——本质上都是同一种东西:压缩自己 context flow 的 associative memory(联想记忆),区别只在于各自的更新频率(level)、内部目标函数和学习规则。比如 Transformer 是两个极端频率的组合:attention 每个 token 都"更新"(频率无穷大),MLP 预训练后冻结(频率 0);momentum 是一个用梯度当 context 的记忆模块;Adam 则是对 element-wise L2 目标最优的联想记忆。所谓"深度架构的异质性"只是没看到内部梯度流的错觉——这就是标题 The Illusion of Deep Learning Architectures 的含义。
论文用这个视角重新解释了 in-context learning(多 level 的直接结果而非涌现)、pre-training(context 为全部训练数据的 ICL)、meta-learning/hypernetwork/learned optimizer(不同的层间知识传递方式),然后给出三件"证据式"的新设计:(1)更有表达力的优化器(Delta Gradient Descent、深度 momentum、多尺度 momentum 的 M3 优化器);(2)自修改的 Self-Referential Titans——让 k/v/学习率/遗忘门的投影本身也在 context 内被更新,模型自己生成自己的训练信号;(3)Continuum Memory System(CMS)——把 Transformer 的单个 MLP 换成一串按不同 chunk 频率更新的 MLP 链,取代传统"长/短期记忆"二分。三者拼起来就是 Hope 架构。动机上大量借用神经科学叙事(脑电波多时间尺度、突触巩固、顺行性遗忘症类比),NeurIPS 2025 接收,Google Research 博客 2025 年 11 月发文宣传后讨论度非常高(S2 引用已 87+)。
机制与做法
核心形式化:一切都是不同频率的联想记忆
定义很简单:associative memory 是把 keys 映到 values 的算子 M,通过最小化 L~(M(K); V) 得到。论文先用两个例子建立直觉:(a)用 GD 训练一层线性层,等价于一个记忆模块在学习"输入 x_t → 该样本引起的局部误差信号(local surprise)"的映射,所以 backprop 本身就是压缩;而且 value(梯度)是由记忆自身当前状态生成的,所以它是 self-referential 的,并不等价于对梯度做 linear attention。(b)带 momentum 的 GD 是两层嵌套:内层 momentum 作为记忆压缩历史梯度,外层用它更新慢权重。同理 linear attention 的递归 M_t = M_{t-1} + v_t k_t^T 正是对 dot-product 目标做一步 GD,DeltaNet/RWKV-7 对应 L2 目标,softmax attention 是同一回归目标的非参数解(Nadaraya-Watson 估计)。于是"训练某架构 + 某优化器"整体就是一个多 level 的嵌套优化系统,按更新频率排序:预训练参数在最低频 level,attention 在最高频。
由此推出的优化器改造(DGD、M3)
既然 momentum 是记忆,那记忆的所有增强手段都能搬过来:把 dot-product 目标换成 L2 回归得到 Delta Momentum(更新依赖当前权重状态,等价于对样本相关性建模,不再假设 i.i.d.);把线性记忆换成 MLP 得到 Deep Momentum;Muon 的 Newton-Schulz 正交化被解释成"内部再嵌套一层把梯度映到正交空间的优化"。作用在权重更新上则得到 Delta Gradient Descent(DGD):W_{t+1} = W_t(I − η′x_t x_t^T) − η′∇L,自带随输入自适应的 decay。最后给出 M3(Multi-scale Momentum Muon):Adam + Muon + 两个不同频率的 momentum(慢 momentum 每 C 步聚合一次),对应 CMS 思想在优化器里的版本。作者自己承认 M3 有计算开销问题(比 Muon 慢,与 AdaMuon 相当),定位是 proof-of-concept。
CMS + 自修改 Titans = Hope
CMS 把 Transformer 里的 FFN 换成 MLP 链 MLP^(f1)→...→MLP^(fk),第 l 个块每 C^(l) 个 token 才用累积梯度更新一次(对任务目标,如 NTP),频率越低越持久。这样"遗忘"不再是灾难性的:某一频率的块忘掉的知识仍存在更高频/更低频的邻居里,还能通过初始状态的 meta-learning 循环回来。效率上靠 chunk 内并行,每步平均只更新一小部分参数。
Self-Modifying Titans 则把 Titans 的测试时记忆推进一步:不只 memory 本身,连生成 k、v、学习率 η、遗忘门 α 的投影都变成 in-context 可更新的 2 层 MLP 记忆(query 投影保持固定),且 value 由模型自己生成(hat-v = M(v)),内部用 DGD + weight decay 更新,chunk-wise 并行训练。Hope = 自修改 Titans(高频、小容量、复杂学习规则)接 CMS(低频、大容量、简单规则)。另有 Hope-Attention 变体:把自修改 Titans 换回 softmax attention,只保留 CMS,用来单独检验 CMS 的贡献,也用于把预训练 Llama 的 MLP 直接初始化成 CMS 块做持续学习。
实验设置值得注意的地方
语言建模从零训练 760M/30B 和 1.3B/100B tokens(FineWeb-Edu 混合),优化器统一 AdamW 且"默认配置沿用 Titans 论文";持续学习实验(CLINC/Banking/DBpedia 类增量)不是从零训 Hope,而是把 Llama-3B/Llama3-8B 的 MLP 块改造成 CMS 再续训 15B tokens;NIAH/LongHealth/QASPER 的 level 消融同理基于改造后的模型。论文明确写了对比基线"使用各 benchmark 上已报告的最好结果"而非全部复跑,与 Cartridges 的对比被以计算成本不可比为由排除。所有实验最大只到 1.3B 参数、8B backbone 改造,没有更大规模的证据。
关键结果
- 语言建模 + 常识推理(1.3B/100B tokens):Hope 平均 58.04,高于 Titans 56.82、Samba 54.46、Transformer++ 53.38;Wikitext ppl 14.39 vs Titans 15.60。760M 档位优势缩小(52.28 vs Titans 51.68)。
- RULER-NIAH:单针任务上 Hope 在 attention-free 模型中最好(S-NIAH-2 16K:78.2 vs Titans 75.4、RWKV-7 12.6);但多针任务上所有递归模型仍被 Transformer 碾压——MK-NIAH 16K Hope 只有 14.8,Transformer 61.4。Hope-Attention(只加 CMS)在 S-NIAH-1 上 100/100/100 优于纯 Transformer 的 88.6/76.4/79.8。
- BABILong:微调后的 Hope 在 10M token 上下文仍保持性能,Titans 和 ARMT 在 1M 之后掉队,GPT-4 类大模型 128K-256K 就崩;但作者注明不微调时小模型(含 Hope)性能会显著下降。
- 类增量学习(CLINC/Banking/DBpedia,Llama3-8B 改造):Hope 约 93% 优于 InCA(~88%)、EWC(~80%)、纯 ICL(~78%);记忆 level 从 1 加到 4,MK-NIAH 准确率从 ~90% 单调升到 100%(最低频=512 时),验证了"多 level 有效"这一核心主张。
- 双语持续翻译任务(MTOB Kalamang + Manchu 序贯学习):ICL 出现灾难性遗忘,Hope-3(3 个额外记忆 level)基本恢复到单语言水平。
- 短上下文 in-context recall(SWDE/FDA 等):Transformer 仍最强(SWDE 71.4 vs Hope 65.9),Hope 只是缩小差距;状态跟踪/形式语言任务上 Hope 拿到满分(Transformer 理论上做不到)。
- M3 优化器在 ViT-24M/86M + ImageNet-21K 上 train/test loss 均优于 AdamW 和 Muon,但训练速度慢于 Muon(与 AdaMuon 相当),作者自认 scaling 存疑。
- 消融:去掉 CMS、去掉 momentum、DGD 换普通 GD、k/v/q 投影降回低频,每一项都会伤害 ppl 或常识推理平均分(表 6),支持各组件都有贡献。
实证核查
与我们方向的关系
对做 continual learning / test-time learning 的同学,这篇是必须建立的"坐标系":它把 Titans/TTT/DeltaNet/RWKV-7 这一整条 test-time regression 路线和优化器研究(Muon、momentum 设计)放进同一个词汇表,读完之后再看任何新的线性注意力或记忆架构论文,基本都能立刻定位到"哪个 level、什么内部目标、什么学习规则"。CMS 的"按频率分层更新 MLP、用更新频率换遗忘鲁棒性"是里面最可操作的想法——把预训练模型的 MLP 改造成不同频率可更新块再续训,这个 recipe(§7.3 Ad-hoc Level Stacking)不依赖 Hope 全家桶,值得在我们自己的持续学习实验里单独验证。
但要把它当理论透镜用,不要当可复现的 SOTA 用:引用它的统一视角没问题,复现 Hope 数字目前不现实(无官方代码,社区复现内讧,见 reality)。如果想动手,kmccleary3301/nested_learning 是最完整的起点(含 CI、单测、消融报告),但先读它的 issue #9 了解争议;更稳妥的做法是只实现 CMS(机制简单、争议最小)做对照实验。