为什么你现在应该读这篇如果你在关注长上下文模型的效率优化或者被线性注意力/状态空间模型省内存但会丢信息这个老问题困扰过这篇论文给出了一个借鉴神经科学理论、工程上却相当朴素的解法。① 线性注意力的省内存和记不住其实是同一枚硬币的两面不是可以分开优化的两个问题。Gated DeltaNet 这类线性注意力/状态空间模型把整个前缀压缩进一个固定大小的循环状态里换来了 O(1) 的推理内存代价是这个状态是有损的——当很多 key-value 关联在竞争同一份有限容量时早期的事实会被覆盖导致精确检索能力天然缺失。这不是训练不够、参数不够大的问题是架构设计本身决定的信息瓶颈。② 解法直接抄了大脑的作业海马体负责精确记录皮层负责压缩泛化。互补学习系统理论Complementary Learning Systems, CLS认为人类大脑用两套系统协作记忆——海马体做快速、精确、但容量有限的记录新皮层做慢速、压缩、泛化的长期存储。HOLAHippocampal Linear Attention把这套分工直接搬进模型架构循环状态继续承担压缩泛化的角色额外加一个有边界容量的精确 KV 缓存承担海马体的角色。③ 效果不是理论好看是实测在 32k 长度16 倍训练长度依然稳。在 RULER 长文本大海捞针needle-in-a-haystack测试中HOLA 在 32k tokens是其 2k 训练长度的 16 倍下依然保持鲁棒的检索能力而标准的 Gated DeltaNetGDN等纯线性注意力方案在这种外推场景下会明显退化。如果你正在做(1) 长上下文推理场景下的模型选型或架构设计(2) 纠结全量 Attention 的内存开销和线性注意力的精度损失怎么取舍(3) 设计外部知识缓存机制比如 Agent 的短期记忆缓存HOLA 的双系统设计思路值得直接参考。论文元信息标题A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State ForgetsarXiv2607.023032026-07-02 提交理论基础互补学习系统理论Complementary Learning SystemsCLS神经科学核心机制Delta-rule 循环状态压缩记忆 有边界的精确 KV 缓存半参数化测试时记忆关键数据在 RULER needle-in-a-haystack 测试中32k tokens16× 训练长度 2k下依然保持鲁棒检索显著优于标准 Gated DeltaNetGDN及HOLA仅近因缓存消融版本核心场景为什么线性注意力记不住是个真实工程问题想象你在用一个线性注意力/状态空间架构的模型比如 Mamba、Gated DeltaNet 系做长文档问答或者长对话 Agent。这类架构的卖点很明确——不像标准 Transformer 的 KV Cache 随序列长度线性增长它们把整个历史压缩进一个固定大小的状态向量推理内存恒定非常适合长上下文、低延迟场景。但代价很快就会暴露当文档里有大量相似或竞争性的信息比如多个日期、多个人名、多次出现又被修正的数值固定大小的压缩状态没法把所有 key-value 关联都精确保留下来早期写入的信息会被后来的信息挤掉或覆盖导致模型对着长文档做大海捞针式精确检索时表现明显不如标准 Attention。这不是模型不够聪明而是压缩本身带来的信息论瓶颈——固定容量的状态无法无损存储任意长度的精确信息。HOLA 的思路是不再指望压缩状态自己解决这个问题而是额外配一个专门负责精确记忆的组件。关键数据HOLA 在保持 O(1) 推理内存也就是不放弃线性注意力最核心的效率卖点的前提下在 RULER 长上下文关联召回测试中外推到 32k tokens是训练时 2k 长度的 16 倍依然保持鲁棒的检索表现而标准 GDN 等纯压缩方案会明显退化。技术细节HOLA 的双系统架构怎么设计的架构总览┌─────────────────────────────────────────────────────────────┐ │ 输入序列Token Stream │ └───────────────────────────┬───────────────────────────────────┘ │ ┌──────────────┴──────────────┐ ▼ ▼ ┌─────────────────────┐ ┌─────────────────────────┐ │ Delta-Rule 循环状态 │ │ 有边界精确 KV 缓存 │ │ 压缩记忆 / 新皮层角色│ │ 精确记忆 / 海马体角色 │ │ 固定大小O(1) 内存 │ │ 有限容量精确存储近期/ │ │ 信息有损但泛化性好 │ │ 关键 KV 对不压缩不丢失 │ └──────────┬──────────┘ └──────────┬──────────────┘ │ │ └────────────────┬───────────────┘ ▼ ┌─────────────────────────┐ │ 半参数化测试时记忆 │ │ Semiparametric Test-Time │ │ Memory │ └─────────────────────────┘ │ ▼ 输出Token PredictionDelta-Rule 循环状态延续标准线性注意力/Gated DeltaNet 的做法把序列历史压缩进一个固定大小的状态向量负责语义泛化和长距离趋势的软记忆对应大脑新皮层的角色——慢、压缩、擅长归纳但不擅长精确复述细节。有边界精确 KV 缓存这是 HOLA 新增的核心组件容量有限bounded但存储的 KV 对是精确的、不经压缩的。当循环状态因为容量竞争面临信息覆盖风险时这个缓存承担没有被压缩状态记住的信息我这里还留着精确底稿的角色对应海马体的角色——快、精确但容量有限。语义架构两者组合形成半参数化测试时记忆Semiparametric Test-Time Memory——循环状态是模型参数化的压缩表示精确缓存是测试时动态维护的非参数化组件两者协同构成完整的记忆系统。对比表HOLA vs 纯线性注意力 vs 标准 Attention维度标准 Attention全量 KV Cache纯线性注意力如 GDNHOLA推理内存O(n)随序列长度线性增长O(1)固定大小O(1)固定大小精确检索能力强无信息损失弱压缩导致有损强精确缓存兜底长距离泛化能力依赖注意力权重学习较强专为压缩泛化设计强保留压缩状态优势长度外推鲁棒性RULER 32k需要额外外推技巧明显退化保持鲁棒架构复杂度简单但内存代价高简单且高效略增双组件但仍轻量关键设计启示不要用一个组件同时解决压缩泛化和精确记忆两个矛盾目标。这是 HOLA 最核心的设计哲学——传统线性注意力试图让一个固定大小的状态同时做好这两件事而这两个目标在信息论层面本身是冲突的压缩必然有损精确必然占空间HOLA 承认这个矛盾直接拆成两个专职组件协作。有边界是关键约束不是无限扩展缓存。精确缓存容量有限这保证了整体架构依然保持接近 O(1) 的内存特性没有退化回标准 Attention 的 O(n) 内存开销这个边界设计是保住线性注意力效率卖点的关键。消融实验证明仅靠近因缓存不够需要更智能的缓存策略。论文提到的HOLA仅近因缓存作为对比消融版本表现不如完整 HOLA说明精确缓存的内容选择策略哪些 KV 对值得精确保留本身是有讲究的不是简单地存最近的 N 条就够了。So What三类人行动清单 工程师如果你在用线性注意力/SSM 架构做长上下文场景先测一下精确检索能力的短板有多明显。用类似 RULER needle-in-a-haystack 的方法测一下你现在用的模型在长度接近或超过训练长度时精确检索准确率下降的幅度这决定了你是否需要引入类似 HOLA 的缓存补丁。给自己的 Agent 短期记忆缓存设计压缩精确双层结构。不只是模型架构层面工程层面的记忆缓存设计也能借鉴这个思路——上下文摘要压缩层 关键事实精确缓存海马体层而不是单一层级的记忆结构。明天就能做打开你现在的长上下文 Agent 记忆/缓存模块检查是否只有一层摘要压缩逻辑。如果是考虑给最近 N 轮或标记为关键的信息单独维护一个不经压缩的精确缓存哪怕只是简单的 dict也能提升对近期精确细节的召回能力。 技术管理者评估长上下文模型选型时把精确检索能力和内存效率分开评估。不要只看厂商宣传的上下文长度数字专门测一下在接近/超过训练长度时的精确检索退化程度这是纯线性注意力方案最容易被忽视的短板。关注半参数化这类混合架构的成本收益比。HOLA 这类方案在保持效率优势的同时补上精度短板是当前长上下文优化的一个重要技术路线值得纳入团队的技术雷达评估是否值得投入自研或跟进开源实现。明天就能做让团队针对当前生产环境用的长上下文模型跑一次类似 RULER 的内部大海捞针测试重点测试超过常规使用长度比如 2-4 倍时的表现建立一个内部基线避免生产环境中长文档偶尔漏关键信息的问题被忽视。 创业者/PM效率不打折的精确长上下文是差异化竞争点。如果你在做长文档处理/长对话 Agent 产品市面上很多方案在省钱线性注意力/SSM和精确标准 Attention之间二选一HOLA 这类混合架构提示了一个两者都要的技术方向值得作为产品技术路线图的参考。互补学习系统理论是一个值得持续关注的跨学科灵感源。借鉴神经科学的记忆分工理论来设计模型架构这个思路在 Agent 记忆系统设计不只是模型底层架构上同样适用可以作为团队技术调研的一个方向标签。明天就能做如果你的产品文档里在强调支持超长上下文评估一下是否需要补充长上下文下精确检索能力的测试数据这类具体的鲁棒性证明比单纯的支持 128k/1M 上下文数字更能建立技术决策者的信任。⚠️ 方法论局限精确缓存的容量上限如何设定是一个需要针对具体场景调优的超参数。论文没有给出一个通用的多大容量最优的答案实际落地时不同任务的最优缓存容量可能差异很大需要额外的调参成本。32k 长度的外推测试仍然是有限的验证范围。虽然是训练长度的 16 倍已经是不错的外推能力但真实生产场景比如百万级 token 的超长文档是否依然保持鲁棒论文未给出更大规模的验证数据。精确缓存该存什么的策略细节公开信息有限。论文提到消融实验中仅近因缓存效果不如完整方案暗示存在更智能的内容选择策略但这个策略的具体设计细节和计算开销在二次解读资料中披露有限需要查阅论文全文核实。架构改动对训练流程和推理延迟的额外开销未充分量化。增加一个精确 KV 缓存组件即便容量有限也会引入额外的读写和维护开销论文强调的是内存优势和精度优势对推理延迟的实际影响缺乏详细的量化对比。延伸阅读 论文主页arxiv.org/abs/2607.02303 论文 PDFarxiv.org/pdf/2607.02303v1 对比阅读《Self-Evolving World Models for LLM Agent Planning》arXiv:2606.30639——HOLA 是在模型底层架构层面解决如何不丢失关键信息WorldEvolver 是在上下文/部署层面解决如何更新知识而不动模型参数两者是记忆管理在不同抽象层级的呼应可以对照理解从底层架构到应用层的完整记忆管理图景。 同类对比Awesome-Memory-for-AgentsGitHub——如果对模型架构层面的记忆机制感兴趣可以进一步查阅该仓库中其他线性注意力/状态空间模型的记忆增强方案做横向对比。⏱️如果只有 5 分钟直接记住这个类比——“压缩状态是新皮层精确缓存是海马体”以及一个数字32k tokens16 倍训练长度下依然鲁棒。这足以让你判断自己手头的长上下文模型是否也需要打上这样一个精确记忆补丁。路易乔布斯 © 2026 · AI论文观察 · 长上下文模型架构
