DeepSeek-V2

是什么

DeepSeek-V2 是一个采用混合专家（mixture-of-experts，MoE）架构的大语言模型。它的总参数规模为 236B，但生成每个 token 时只激活其中的 21B，上下文长度支持到 128K 个 token^[1]。混合专家的思路是让模型在总量上很大、在单次计算上很小：路由机制把每个 token 分给少数几个专家子网络，参数量随专家数量增长，而每个 token 的计算开销并不随之线性上升。DeepSeek 对这一版本的说法是，仅用 21B 激活参数就达到了开源模型中的第一梯队水平^[1]。

由来

DeepSeek 于 2024 年 5 月 6 日宣布发布，技术报告在 5 月 7 日上传到 arXiv^[1][2]。5 月 16 日，同系列的轻量版本 DeepSeek-V2-Lite 跟进：总参数 16B、激活参数 2.4B，上下文长度 32K，而不是 128K^[2]。

架构上的两个改动

最重要的两项设计是 MLA 和 DeepSeekMoE。多头潜在注意力（Multi-head Latent Attention，MLA）把键值缓存（KV cache）压缩成一个潜在向量。键值缓存是模型在生成时保存下来、供后续 token 回看前文用的键和值；上下文越长，这份缓存占的内存越多，因此它的大小直接决定了长上下文推理在实际部署中有多贵。DeepSeekMoE 则是模型采用的稀疏训练结构，用来压低训练成本^[1]。

训练分阶段进行：先在 8.1 万亿 token 上做预训练，再做监督微调与强化学习^[1]。

效率数字是与同门早前的稠密模型 DeepSeek 67B 对比得出的。DeepSeek 报告称，V2 把训练成本降低 42.5%，键值缓存缩减 93.3%，最大生成吞吐量提升到 5.76 倍^[1]。这些是模型方自己给出的对比，不是第三方评测。

这一系列怎么演进

V2 并没有停在初版。2024 年 6 月，DeepSeek-V2-Chat 被升级到 Coder-V2 基座之上，得到 DeepSeek-V2-Chat-0628^[3]。2024 年 9 月 5 日发布的 DeepSeek-V2.5 把 DeepSeek-V2-0628 与 DeepSeek-Coder-V2-0724 合并成一个模型^[3]。到这一系列收尾时，V2 在 2024 年 5 月至 12 月间共经历了五次更新，最后一版是 DeepSeek-V2.5-1210^[4]。

在发展中的位置

V2 是 DeepSeek 后续架构第一次被验证的地方。DeepSeek-V3 的技术报告写明，其 MLA 与 DeepSeekMoE 架构最早是在 DeepSeek-V2 上得到验证的^[5]。也就是说，稀疏专家加潜在注意力这条路线，是在 V2 上从设计变成了一个可以被测量、被比较的可用模型。