DeepSeek-VL2 视觉语言模型

DeepSeek-VL2 是什么

DeepSeek-VL2 是 DeepSeek 发布的一系列混合专家（mixture-of-experts, MoE）视觉语言模型，论文报告日期为 2024 年 12 月 13 日^[1][3]。它接续此前的视觉语言模型 DeepSeek-VL，是后者的后继版本^[1]。这次发布的不是一个模型，而是三个规模：DeepSeek-VL2-Tiny 的激活参数为 1.0B，DeepSeek-VL2-Small 为 2.8B，DeepSeek-VL2 为 4.5B^[1]。这里的规模按激活参数计算，也就是处理每个词元时真正参与运算的那一部分；混合专家模型的总参数量更大，每个词元只经过其中一部分专家，所以名字里的数字小于全部参数量。

两侧各自怎么工作

视觉语言模型把处理图像的部分和语言模型接在一起，设计上的两个问题是：图像怎么送进去，推理成本怎么压住。

视觉一侧采用动态切块（dynamic tiling）策略，处理长宽比各不相同的高分辨率图像^[1]。它不把每张图统一缩放到一个固定正方形（那样会让密集文档里的小字失真、让形状变形），而是把图像切成图块，块的数量和排布随图像形状而变。扫描页上的小字、图表的刻度标签，因此能比一张整体缩小后的副本保留更多细节。

语言一侧使用带多头潜在注意力（Multi-head Latent Attention）的 DeepSeekMoE 模型，压缩键值缓存以便高效推理^[1]。键值缓存是模型为已经读过的词元保存下来的中间状态，压缩它就能降低推理时的内存开销^[1]。稀疏专家配上压缩后的缓存，使这个系列能把激活参数保持在个位数十亿的量级，同时仍跑一个规模不小的语言骨干。

面向的任务与结果

它明确针对的任务是视觉问答、OCR，以及文档、表格和图表理解，另外还有视觉定位（visual grounding）^[1]。这些任务要求模型从图像里读出文字、理清页面或表格的版式，视觉定位则要求指出图像中某个被描述对象的位置。DeepSeek 报告称，在与激活参数相近或更少的开放稠密模型和混合专家模型比较时，结果具有竞争力或达到最好水平^[1]。

发布、许可与配套工具

代码仓库以 MIT 许可证发布，模型本身的使用遵循 DeepSeek 模型许可证，该许可证支持商业使用^[2]。配套工具随后跟上：2024 年 12 月 25 日的发布说明列出了 Gradio 演示示例、增量预填充（incremental prefilling）以及对 VLMEvalKit 的支持^[2]。2025 年 2 月 6 日，一个面向 deepseek-vl2-small 的简易 Gradio 演示被发布在 Hugging Face Spaces 上^[2]。增量预填充这类特性，在对话逐步延长、而不是每次都从头处理时才有意义。

在发展中的位置

DeepSeek-VL2 延续了 DeepSeek-VL 开辟的路线，它在领域中的位置由这种取舍界定：以混合专家的语言骨干配合压缩的注意力缓存，再用切块方式接收高分辨率输入，激活参数从 1.0B 到 4.5B^[1]。维基百科把它的发布时间记为 2024 年 12 月 13 日^[3]。