阿里巴巴发布通义千问视觉语言模型 Qwen-VL

背景

通义千问语言模型是 Qwen-VL 的基础。Qwen-VL 的发布把它扩展到了图像领域，使模型在接收文字的同时也能接收图片。这类视觉语言模型把视觉组件与语言模型结合起来，使同一个系统能够回答关于所见内容的问题。

发生了什么

阿里巴巴于 2023 年 8 月发布了 Qwen-VL 视觉语言模型系列。描述该系列的论文于 2023 年 8 月 24 日发布在 arXiv 上。^[1] Qwen-VL 以通义千问语言模型为基础构建。为了实现这一点，研究团队加入了视觉感受器（visual receptor）、输入输出接口、三阶段训练流程，并使用了经过清洗的多语言多模态语料。^[1]

关键细节

除了图像描述和视觉问答，这些模型还能在图像中定位物体并读取其中的文字。定位（grounding）指的是指出某个被描述的物体在哪里。为此，训练过程将图像、描述文字和边界框（bounding box，即标出物体位置的矩形框）数据对齐。^[1]

研究者报告了与同等规模通用模型在视觉基准测试上的对比结果，测试方式包括零样本和少样本两种。零样本指不提供示例直接作答，少样本指在提示中给出少量示例。^[1] 对话版本 Qwen-VL-Chat 在真实场景的对话基准测试中，表现优于已有的视觉语言聊天模型。^[1]

Base 版和 Chat 版采用通义千问许可协议。规模更大的 Qwen-VL-Plus 和 Qwen-VL-Max 为专有模型。^[2] 因此，该系列内部的许可并不统一。

这类视觉语言模型通常根据其回答图像问题的准确程度，以及定位物体的精确程度来评价。上文提到的零样本与少样本设置，区别在于测试前模型获得的指导多少，因此两种设置下的结果应分开看待。

影响

研究团队公开了代码、演示程序和模型。^[1] 这次发布把通义千问语言模型扩展到了图像领域，并加入了上文所述的定位与文字读取能力。论文和开放的变体，是后来读者了解这次发布的主要依据。^[1]