DeepSeek V4最大的遗憾量子位

DeepSeek V4 的技术报告里有 mHC，有 CSA，有 HCA，有 Muon，有 FP4…… 唯独没有 Engram。

Engram 去哪了？这个话题一度成为网友们讨论的热点。

Engram 在今年 1 月由 DeepSeek 和北大联合开源，主要研究大模型的记忆与效率问题。

自挂上 arXiv 的那一刻起，圈子里围绕它的探讨就没有停止过…

不仅仅因为它是 V4 的前奏，而是有了 Engram，「伦敦是英国首都」这种事实，模型不用动用整个深层网络去重新推一遍，直接查就行。

不仅省显存，还能释放深层网络容量，用于更高阶的推理。

正因如此，自 1 月初论文发表以来，所有人都觉得，Engram 就是 V4 的架构地基，所有人都在盼。

以至于 V4 发表后，大家第一时间就是 command+f 去论文里找 Engram，可惜并没有。

以至于不少网友甚至觉得，没有 Engram，V4 就是不完整的。

没有 Engram，可能是 DeepSeek V4 最大的遗憾。

不过，Engram 并没有消失。随后三篇值得注意的论文接力出现：

CXL 内存池化版本：把 Engram 放进多机共享的 CXL 内存池，解决大模型多机部署的存储问题。

无冲突热层实验：对 Engram 的多头哈希优化进行了实证检验，证伪了一些直觉式改进方案。

视觉 Tiny Engram：AutoArk 团队把文本 Engram 搬到视觉模态，扩展了它的应用边界。

所以，虽然 V4 没有 Engram，但它的理念、探索和后续应用已经悄然铺开，为下一代模型打下基础。

Engram 到底是什么

把时间倒回 2026 年 1 月 12 日。

那一天，DeepSeek 联合北大放出了一篇 33 页的论文《Conditional Memory via Scalable Lookup》。第一作者 Cheng Xin，北大博士生，曾经署名过 V3。最后一位作者，梁文锋。

先来一句话速通版，Engram 是给 Transformer 加的一个原生知识查表模块。能查的别算，先查一下。

团队的核心观察是，语言建模其实包含两种性质完全不同的任务，一种是需要深度动态计算的组合推理，另一种是检索静态知识。

之前的问题在于，Transformer 把这两件事混在一起做。模型识别一个实体时，得消耗好几层注意力和前馈网络逐层拼凑特征。

论文里举了个例子，「Diana，Princess of Wales」。模型要走 6 层才能把这个识别完。

前几层还在纠结「Wales 是英国的一个地区」、「Princess of Wales 是某种头衔」这些中间状态，最后一层才反应过来这是戴安娜王妃。

这种「用昂贵的运行时计算重建一个静态查找表」的活，本来可以让深层网络去干更高阶的推理。

对此，Engram 的思路相当直接，既然经典的 N-gram 模型就能用 O (1) 的时间复杂度捕获这些局部依赖，那干脆把这能力直接嵌进 Transformer。

打个比方，就像你做数学题，该用的公式不必每次从头推一遍，翻表代进去就行。Transformer 之前没这张表，只能每道题都从公理走起。Engram 等于把这张表交到模型手里。

具体做法是，在 Transformer 的第 2 层和第 15 层之间各插入一个 Engram 模块。

每个位置的输入会触发一次哈希查找，把当前 token 和前面几个 token 组成的 N-gram 映射到一个巨大的嵌入表里，直接取出对应的向量。

门控机制保证查到的内容跟当前上下文不匹配时自动屏蔽。比如「张」是个常见姓氏，但「张仲景」三个字凑一起就是固定历史人物实体了，门控就负责认出这种区别。

Engram 的定位是 MoE 之外的另一条稀疏轴。MoE 是把计算稀疏化，只激活一部分专家。Engram 是把存储稀疏化，只查一部分条目。两者互补，不冲突。

论文最核心的一段实验，是固定总参数和每 token 激活参数，然后让 MoE 专家和 Engram 记忆抢预算，得到一条 U 形曲线。

纯 MoE 不是最优解。把大约 20%-25% 的稀疏参数分给 Engram，模型 loss 达到最低点。

按这个曲线指导，团队把 Engram 扩到 27B 验证。激活参数 3.8B，训练 262B tokens，严格跟 MoE-27B 基线对齐。

结果知识密集型任务的提升符合预期（MMLU +3.4，CMMLU +4.0），但通用推理和代码数学的提升超出预期（BBH +5.0，ARC-Challenge +3.7，HumanEval +3.0，MATH +2.4），长上下文场景更夸张，Multi-Query NIAH 从 84.2% 跃升到 97.0%。

那么，为什么记忆模块还能反过来提升推理？

LogitLens 和 CKA 给出了答案，Engram-27B 第 5 层的表征，跟 MoE 基线第 12 层的表征最相似。

Engram 把模型的早期层从「重建静态知识」这种苦力活里解放出来，这部分网络深度被腾出来做更复杂的推理。Engram 不是新增了一块记忆，它还变相把网络加深了。

工程上。论文把一个 1000 亿参数的 Engram 表整个甩到 host DRAM，在 H800 上跑推理，8B-Dense 的吞吐损失只有 2.8%。

靠的是 Engram 索引的确定性，只取决于输入 token 序列，完全可以提前算，CPU 异步预取跟 GPU 计算重叠。

可以说，这个模块天生就不靠 HBM，只可惜如今 V4 来了，Engram 没来。

没在 v4，但在其他地方

发明者把它放在那里没动，但路上还是有人。三个月里，至少出现了三个值得说一下的工作。

把 Engram 塞进 CXL 内存池

3 月 10 日，北大、阿里云、山东英信、人大、港大联合发了一篇系统论文，《Pooling Engram Conditional Memory in Large Language Models using CXL》。

他们没改 Engram 本身，而是回答了一个更工程的问题，如果 Engram 真的成了下一代标配，内存放哪。