DeepSeek 发布 DeepSeek-V2，引入多头潜在注意力（MLA）

背景

到 2024 年，大语言模型的运行成本已经成为核心问题。模型的总规模决定它能够掌握多少知识，而每个 token 的计算量和显存占用则决定训练和服务的成本。混合专家设计通过每次只激活模型的一部分来应对计算成本；注意力机制的改进则针对显存，因为模型为记住先前内容所占用的显存会随着生成的内容增长。

深度求索（DeepSeek）此前已通过 DeepSeekMoE 探索过混合专家，它的下一款大型模型就是要把这一思路与新的注意力设计结合起来。

发生了什么

2024 年 5 月 7 日，深度求索把 DeepSeek-V2 技术报告发布在 arXiv 上 ^[1]。该模型是混合专家语言模型，总参数 236B，每个 token 激活 21B 参数，上下文长度为 128K 个 token ^[1]。

最显著的设计变化是多头潜在注意力（Multi-head Latent Attention，MLA）。MLA 把键值缓存压缩为一个潜在向量，从而减少模型生成文本时所需的显存。模型还使用 DeepSeekMoE 进行经济高效的稀疏训练 ^[1]。

关键细节

模型在 8.1 万亿个 token 上完成预训练，随后经过监督微调和强化学习 ^[1]。监督微调让模型学习示范回答，强化学习则根据哪些输出获得奖励来调整模型。

与 DeepSeek 67B 相比，深度求索报告训练成本降低 42.5%，键值缓存缩小 93.3%，最大生成吞吐量提高到 5.76 倍 ^[1]。公司称，该模型只激活 21B 参数，就达到了开源模型中的顶尖水平 ^[1]。这些都是公司自己给出的数字，描述的是设计的效率，而不是某一项基准测试的单一分数。

影响

DeepSeek-V2 表明，一个总参数量非常庞大的模型，可以在远小得多的每 token 计算和显存预算下运行。报告的两项主要架构思路，即 MLA 和 DeepSeekMoE 的应用，正是其效率数字的依据。关注高效大模型发展史的读者，可以把这份报告看作注意力机制与混合专家在同一开放设计中结合的清晰案例。