DeepSeek 发布视觉语言模型 DeepSeek-VL2

背景

视觉语言模型把图像理解与文字生成结合起来，因此能够回答关于图片的问题、阅读文档并解释图表。深度求索此前已经发布过视觉语言模型 DeepSeek-VL，此次的新系列是它的后续版本。

对于视觉语言模型，有两个问题尤为突出。一是图像的形状和分辨率千差万别，二是文档中的文字需要足够细的细节才能读清。混合专家设计是在模型保持庞大的同时，控制每个 token 计算量的一种方法。

发生了什么

2024 年 12 月 13 日，深度求索发布 DeepSeek-VL2 系列，这一天也是其 arXiv 报告的日期 ^[1][3]。该系列有三个版本：DeepSeek-VL2-Tiny 的激活参数为 1.0B，DeepSeek-VL2-Small 为 2.8B，DeepSeek-VL2 为 4.5B ^[1]。

该系列面向视觉问答、OCR、文档、表格和图表理解，以及视觉定位 ^[1]。视觉定位指找出短语所指的图像部分。

关键细节

视觉一侧采用动态切块策略，处理长宽比不同的高分辨率图像 ^[1]。切块把图像分成固定尺寸的输入可以处理的小块，动态切块则根据图像形状决定切法。语言一侧采用带多头潜在注意力（MLA）的 DeepSeekMoE 模型，通过压缩键值缓存提高推理效率 ^[1]。

深度求索报告，在激活参数规模相近或更少的开源稠密模型和混合专家模型中，该系列取得了有竞争力或最先进的结果 ^[1]。这些比较均由公司自己给出。

影响

这次发布为开发者和研究者提供了一组多种规模的视觉语言模型，用户可以按成本选择较小的版本，或为追求更强效果选择较大的版本。该系列还把混合专家设计应用于图像，语言一侧采用 DeepSeekMoE ^[1]。想研究同一套效率思路如何应用于多模态模型的读者，可以把这一事件作为参考。