《DeepSeek-V4：面向百万 token 上下文的高效智能》

这是一份什么样的报告

这篇论文署名 DeepSeek-AI，作者名单由 Anyi Xu、Bangcai Lin、Bing Xue 领衔，2026 年 4 月 26 日以 2606.19348 的编号提交到 arXiv ^[1]。它不是对单一系统的完整说明，而是 DeepSeek-V4 系列的预览，覆盖该系列的两个成员：DeepSeek-V4-Pro 总参数 1.6 万亿，其中激活 490 亿；DeepSeek-V4-Flash 总参数 2840 亿，其中激活 130 亿 ^[1]。两者都支持 100 万 token 的上下文长度 ^[1]。

要解决的问题：长度本身就是成本

在标准的 Transformer 里，注意力（attention）层让每个 token 都能看到其他 token，因此上下文一长，所需计算量就迅速上升；与此同时，键值缓存（KV cache）——注意力反复读取的、按 token 存下来的状态——所占的显存也随上下文同步增长。普通的一轮对话尚可承受，但到 100 万 token 时，一次请求可能装下一整个代码仓库或一大批长文档，计算和显存就都成了硬约束。所以报告要回答的不只是「模型能不能吃下 100 万 token」，而是「吃下 100 万 token 能不能便宜到可用」^[1]。

怎么做的

架构上的答案是混合注意力（hybrid attention）：把压缩稀疏注意力（Compressed Sparse Attention，CSA）与重度压缩注意力（Heavily Compressed Attention，HCA）结合起来，用来提升长上下文的效率 ^[1]。顾名思义，这两种方案都是靠压缩注意力层需要保存和读取的内容来省资源，而不是在整个窗口内保存并比对完整的逐 token 状态。

第二处改动针对残差连接（residual connection）——绕过每个网络块、把信号直接往前带的那条短路，正是它让很深的网络得以训练。报告引入了流形约束超连接（Manifold-Constrained Hyper-Connections，mHC）来增强这种常规残差连接 ^[1]。

训练上也有变化：作者改用 Muon 优化器（optimizer），称其带来更快的收敛和更好的训练稳定性 ^[1]。优化器决定算出梯度之后每个参数往哪个方向、走多远，换一种优化器会同时影响训练跑到同等质量所需的时间，以及训练会不会频繁失稳。两个模型都在超过 32 万亿 token 上做预训练，随后经过一套完整的后训练流程 ^[1]。

结果

能力方面，报告的重点是 DeepSeek-V4-Pro-Max，也就是 DeepSeek-V4-Pro 的最高推理力度模式。据报告，该模式刷新了开放模型的最好成绩，并在核心任务上超过前代模型 ^[1]。

更值得注意的是效率数字。在 100 万 token 的上下文下，DeepSeek-V4-Pro 单 token 推理所需的浮点运算量只有 DeepSeek-V3.2 的 27%，键值缓存只有后者的 10% ^[1]。也就是说，长窗口不仅被支持，而且每生成一个 token 的代价比前代低得多——这正是 CSA 与 HCA 里那套压缩想要换来的东西。

开放了什么，为什么重要

模型的检查点（checkpoint）随报告一并公开 ^[1]。这对如何理解上述结论很关键：预览论文描述一个新系列是一回事，权重放出来则是另一回事——别人可以自己把模型跑起来，在自己的工作负载下测长上下文表现，检验效率收益是否只在作者的环境里成立。

这套组合本身也说明了方向：一个 Pro 模型加一个 Flash 模型，共享 100 万 token 的窗口，而总参数量相差五倍以上；同样的长上下文机制既要服务最大的模型，也要服务一个小得多、便宜得多的模型，后者的激活参数是 130 亿而不是 490 亿 ^[1]。这种搭配在实践中是否成立，恰恰是公开检查点让它变得可检验的地方。