通义千问视觉语言模型 Qwen-VL

是什么

Qwen-VL 是一系列视觉语言模型（vision-language model），也就是既能读文字、也能看图，并输出文字的模型。它于 2023 年 8 月发布，配套论文在 2023 年 8 月 24 日上传到 arXiv^[1][2]。它的起点是通义千问（Qwen）语言模型，团队在此基础上做了扩展，让它能处理图像。

怎么做的

在语言模型之外，这套设计加了四样东西：视觉接收模块（visual receptor）、输入输出接口、三阶段训练流程，以及一份经过清洗的多语言多模态语料^[1]。直观地说，视觉接收模块负责把图像变成语言模型能够处理的表示，接口负责在两部分之间传递信息。语言模型本身是用 Qwen-7B 初始化的^[4]。模型的输入分辨率为 448×448，仓库说明这一选择有助于细粒度文字识别、文档问答和边界框标注^[4]。

能做什么

除了常规的图像描述（captioning）和视觉问答（visual question answering），Qwen-VL 还能在图像中定位物体，也就是指出所描述的物体在哪里，并且能读取图像中的文字。这些能力来自训练时对图像、描述文本和边界框数据的对齐：一块图像区域、描述它的词以及它的坐标被放在一起学习^[1]。448×448 的输入分辨率正是为这类看重细节的用途准备的——读文字、回答关于文档的问题、标出边界框^[4]。

结果

作者报告说，在同等规模的通用模型里，它在视觉基准上取得了新的结果，零样本（zero-shot）和少样本（few-shot）设置下都是如此^[1]。在三个常用基准上，Qwen-VL 在 VQAv2（dev）上得 78.8 分，OK-VQA 上 58.6 分，GQA 上 59.3 分；经过对话微调的 Qwen-VL-Chat 在同样三项上分别是 78.2、56.6 和 57.5 分^[4]。Qwen-VL-Chat 还在真实场景的对话基准上超过了已有的视觉语言对话模型^[1]。

版本、许可与开放程度

这一系列有多个版本，条款并不相同。Base 和 Chat 两个版本采用通义千问许可，规模更大的 Qwen-VL-Plus 和 Qwen-VL-Max 则是专有模型^[2]。代码、演示和模型都已公开^[1]。

在发展中处于什么位置

Qwen-VL 在 2024 年 8 月 29 日由 Qwen2-VL 接续^[3]。在 Qwen 系列里，它标志着一条纯文本语言模型线被扩展成也能看的模型；而 Base 与 Chat 版本连同代码和演示的公开，使外部研究者能够直接在此基础上动手，而不只是读到论文^[1][2]。