通义千问 Qwen2-VL 视觉语言模型

是什么

Qwen2-VL（通义千问 Qwen2-VL 视觉语言模型）是阿里巴巴 Qwen 团队推出的视觉语言模型。视觉语言模型以图像（有时包括视频）和文字作为输入，并以文字作答。该模型于 2024 年 8 月 29 日发布，接替了 Qwen-VL 系列，并以 Qwen2 语言模型为基础构建。^[1][2]

由来

Qwen2-VL 是 Qwen-VL 系列的继任者。^[2] 它将约 6 亿参数的视觉编码器（Vision Transformer）与 Qwen2 语言模型结合在一起。^[1] 2B 和 7B 两个尺寸以 Apache 2.0 许可开源，72B 模型最初仅通过 API 提供。^[1]

72B 模型的权重于 2024 年 9 月 19 日公开，与 Qwen2.5 同时发布。维基百科将该模型列在 Qwen 许可之下。^[3][2]

主要特点

Qwen2-VL 能够理解 20 分钟以上的视频，并据此回答问题或进行对话。^[1] 它还能根据视觉输入和文字指令，充当操作手机和机器人的代理（agent）。^[1]

它能读取图中多种语言的文字，包括大多数欧洲语言、日语、韩语、阿拉伯语和越南语。^[1] 有两项技术特点支持这一能力。其一是朴素动态分辨率（Naive Dynamic Resolution），它把任意分辨率的图像映射为数量可变的视觉 token，使大图或细节丰富的图像不必被压缩到固定尺寸。其二是多模态旋转位置编码（Multimodal Rotary Position Embedding，简称 M-ROPE），它把旋转位置编码拆分为时间、高度和宽度三个部分，使模型既能追踪视频帧的先后顺序，也能处理图像中的空间位置。^[1]

结果

Qwen 团队报告，Qwen2-VL 在 MathVista、DocVQA、RealWorldQA 和 MTVQA 上取得了当时的最佳结果。这几项测试分别针对数学视觉推理、文档理解、真实场景图像问答和多语言文字视觉问答。^[1] 团队还称，72B 模型在文档理解上常常超过 GPT-4o 和 Claude 3.5 Sonnet。^[1] 以上是团队自己对结果的表述。

在发展中的位置

Qwen2-VL 以 Qwen2 为基础，并于 2024 年 8 月接替了 Qwen-VL。^[1][2] 此后推出的 Qwen2.5-VL 扩展了上文所述的视觉代理和视频能力。^[3] Qwen2-VL 这一脉络显示，该系列从通用语言模型发展成能够处理视频、文字和设备操作的视觉模型。