黄仁勋为何力挺梁文锋、杨植麟？腾讯科技

中国大模型公司把Transformer沿用九年的关键零件——注意力、残差连接、优化器等做了逐一重造。这种重造发生在高端GPU断供的背景下，中国模型就像被一堵高墙环绕。现在，这条被围墙逼出的技术路线，开始反过来改写全球算力与存储的账单。

梁文锋与杨植麟。图片经过AI生成

7月27日深夜，Kimi K3完整权重挂上了Hugging Face。

十天前它发布时，中文圈的讨论多停在跑分与“开源追平闭源”上——头部基准逼近GPT-5.6 Sol和Claude Fable 5。但对技术人来说，架构清单比跑分更重要：注意力换成KDA混合线性机制，残差连接换成注意力残差，优化器换成按头调节的Muon。

深度学习沿用九年的“三大件”，在一个模型里都被重做了一遍。

3月17日，杨植麟在GTC上做了一场《How We Scaled Kimi K2.5》的四十分钟演讲，整场演讲他没有提任何芯片管制。杨植麟透露，对“三大件”动刀源自于高质量数据是有限的这堵“数据墙”。

他说：“token效率不只是效率问题，它实际上也在抬高智能的上限。”可以这样理解：当数据堆到尽头，模型能从每个token里多学到多少，就决定了智能还能再涨多少。

算力的围墙，把中国公司围在里面，而数据墙挡在所有人面前。在笔者看来，这两种叙事并不冲突，数据墙决定这条路迟早有人走，算力墙决定谁先走、要走多快。回头看这四年，MLA、DSA、KDA，再加上把MoE推到极限稀疏的路线，这条时间线上密度最高的架构创新，几乎全部出自算力围墙之内。

2022年10月起，美国对华出口管制将高端AI芯片列入清单。A100、H100、H20，这中间的细节我们不再赘述。

今天回过头来看，算力围墙拦得住芯片、设备、内存颗粒，却拦不住模型架构设计。因为注意力、更新规则、参数组织都不需要过海关。而且，算力墙修得越高，墙内拆Transformer就拆得越狠。

一切都要从推理时的显存开销说起。

推理显存开销当中，一笔是全场均摊的模型权重：无论谁来推理，都要加载同一份。

另一笔是各自记账的历史信息：Transformer每生成一个token，都需要回看全部上下文，从中取用相关部分。为避免反复从头重算，过去每个token、每一层的Key和 Value向量都必须留底。这份留底就是KV cache，它好比会话的笔记：上下文每推进一步，笔记就加厚一页；并发每多一个会话，就得另备一整本。

以Llama 3.1-70B为例，单token约320KB。128K上下文下，一个会话要40GB显存；100万token则要320GB。可英伟达旗舰Rubin单卡显存总共也才288GB，一个百万token的会话，一张最顶级的卡，搭配的显存也根本装不下。

与此同时，由于大模型解码是逐字生成：每写一个新token，都得把权重和笔记在显存里完整搬一遍。所以，笔记的搬运也是一个难题，这依赖于高带宽内存支持。

所以，按token计费的生意，收入上限取决于显存的两个规格：容量和带宽。

02 参数的两本账

算力围城里的中国模型，第一刀瞄准了训练与推理共用的算力：既然请不起所有专家“全员上岗”，就让特定参数的专家轮班，也就是MoE混合专家模型的起源。

MoE把巨型网络拆成许多“专家”。每个token进来，路由器只点其中几个出场。DeepSeek是这条路的主力，Kimi则把这条路拓得更宽。

2024年底，当时DeepSeek V3做到了6710亿总参数，但每个token只激活370亿；Kimi K2推至1万亿总参数、320亿激活；刚刚上线的Kimi K3，直接把参数拉到2.8万亿总参、1042亿激活。

由于总参数对应的是知识容量，只有激活参数才涉及算力账单，故而两本账就此分开。

减少激活参数之后，另一刀落在了每个参数占的字节之上。

DeepSeek V3用FP8跑通了6710亿参数的完整训练，放在2024年底，在全球范围内都算激进。两年后的 Kimi K3又往下压一档：推理权重用MXFP4，再叠加从SFT阶段就开始的量化感知训练。字节缩小一半，同等显存与带宽，就能多搬一倍参数。

训练过程本身也有可省之处。2024年底，研究者Keller Jordan在nanoGPT提速竞赛里拿出了Muon优化器，单次训练试验成本约8美元。次年1月底，Jordan加入OpenAI；一个月后，月之暗面把相关博客当作正式文献引用，在百亿参数级别验证出约为AdamW两倍的算力效率，随后用改良的 MuonClip 训完了1万亿参数的K2。K3又把它细化到按注意力头独立调节。

此外，注意力残差（AttnRes）对残差连接动刀：每层输出不再无差别地叠回主干，而是用注意力对前面各层做选择性聚合，让深层学会自主回取哪些层的表征。

按Kimi的论文口径，训练算力可省两成。上了K3旗舰之后，注意力残差自己也做了减法：把全部层折成8块来记账，把开销压住。

在中国模型动刀拆墙的过程中，有一个流传很广的数字——DeepSeek V3的完整训练用了约279万H800 GPU小时（1张H800显卡持续运行1小时即为1个GPU小时），按租赁价折算五六百万美元；而同代美国旗舰的训练预算，普遍高出一个数量级以上。

拆墙并不是绝对的完美。参数轮班也把问题从算力搬到了容量。MoE省算力，却不省权重。在MXFP4精度下，K3权重仍有1.4TB左右。为满足专家并行、通信和吞吐要求，官方建议64卡起步。这就好比是，专家们学会了轮班，宿舍却一间不能少。

03 从笔记本到白板

超长上下文是国产大模型突围的重要方向。近四年大致经历四步：共享KV、压缩KV、按需读取、重写“记忆”机制。

第一步是共享：MQA共享一套KV，GQA分组共享；例如Llama 3.1-70B将64个查询头分成8组，把单token缓存从约2.5MB降到320KB。

第二步是压缩：DeepSeek 2024推出MLA，把上下文映射到低维存储、推理时再还原；相较67B的GQA基线，KV开销再降93.3%，并沿用至DeepSeek V2之后的系列。

第三步是按需读取：并非每一步都要重读全部上下文。DeepSeek 2025起推进稀疏注意力（V3.2轻量打分筛选，V4加入记忆合并与分层筛选）；在V4-Pro的百万token场景里，计算量降至前代27%，KV占用降到10%。

第四步是改写记忆：从“越写越厚”的KV账本，走向线性注意力的固定维度矩阵状态，通过覆盖与遗忘控制体积；关键不再是只写入，而是学会记什么、何时忘。

为兼顾推理效率与长文本精度，Kimi采用3:1混合架构：3层KDA线性层穿插1层全注意力。相比传统MLA基线，KV缓存最高省75%，在百万token上下文下吞吐提升6倍。

这套设计已用于2.8万亿参数的K3：用门控MLA取代原全注意力层，93层中约3/4为 KDA、1/4为门控MLA。

KDA的状态大小固定；MLA每个token只存低维向量，24层合计约24KB。对比 Llama 3.1-70B的单token 320KB，K3虽大40倍，缓存反而小13倍。

但“白板矩阵”也带来新问题：矩阵化记忆无法像传统KV缓存那样按前缀拆分复用。Kimi因此重写缓存逻辑并贡献给vLLM，同时采用差异化定价：命中复用每百万token 0.3 美元，未命中3美元。

同样100万输入token，是否复用既有“状态”会让成本相差10倍——token只是表面单位，真正决定账单的是状态的生成、保存与复用。

在长文本优化这条战线上，各家走出了不同的技术路线。

DeepSeek的解法是稀疏压缩：笔记照记，但压小、挑着读；Qwen和Kimi选择混合线性；智谱的GLM-5则把 MLA、DSA 等既有零件重新组合。

GLM-5最能说明问题的一处改动，是将MLA的每头维度从192提到256，同时把头数削减三分之一。报告给出的理由是：DeepSeek-V3的头数是按H800的硬件特性选定的，换到其他芯片上就未必合适。同一套MLA，换一块芯片，模型里的结构常数也可能需要重新计算。

一套架构通吃所有芯片的时代或许正在结束。同一模型家族未来可能从训练阶段起，就会针对不同的显存容量、互联方式和低精度单元，分化出不同的头数、专家布局与精度方案。模型会像程序一样，按机器分别“编译”，而不是一份checkpoint到处运行。

MiniMax的路线最曲折。

M1采用线性注意力与Softmax注意力的混合架构；M2转向全注意力，M2.5延续了这一选择；到今年6月发布的M3，MiniMax才进一步转向MSA稀疏注意力。M2发布两天后，预训练负责人孙浩海在知乎和X解释过这次“撤退”：小模型上混合结构效果很好，但规模做大后，复杂多跳推理会明显吃亏；而检索等依赖全局注意力的能力往往在预训练早期就定型，事后很难补救。因此问题不一定在结构本身，而在评测与规模验证不足——不把模型做大，结论很难成立。