阿里巴巴发布 Qwen2-VL，可理解 20 分钟以上视频

背景

Qwen2-VL 是继 Qwen-VL 之后的新一代视觉语言模型。它以 Qwen2 语言模型为基础。^[1][2] 这类视觉语言模型以图像或视频加文字作为输入，并以文字作答。

发生了什么

阿里巴巴于 2024 年 8 月 29 日发布了 Qwen2-VL。^[1] 此次发布包含多个尺寸，并采用了不同的获取方式。2B 和 7B 以 Apache 2.0 开源，这是一种宽松的开源许可。72B 最初仅提供 API 服务，开发者可以通过服务调用，但起初无法下载其权重。^[1]

关键细节

该模型能够理解 20 分钟以上的视频，并据此回答问题或进行对话。^[1] 它还能根据视觉输入和文字指令，作为代理操作手机和机器人。^[1] 这类视觉代理接收摄像头或屏幕所显示的内容，连同书面指令，决定下一步动作。

发布说明中还介绍了两项技术特点。朴素动态分辨率（Naive Dynamic Resolution）把任意分辨率的图像映射为数量可变的视觉 token，视觉 token 是输入序列中代表图像某一部分的单位，因此图像越大，token 数量越多。多模态旋转位置编码（M-ROPE）把旋转位置编码拆分为时间、高度和宽度三部分，使模型既能追踪时间上的先后，也能记住空间上的位置。^[1]

视觉语言模型需要把每张图像或每个视频帧转换为语言部分能够处理的序列，因此视觉 token 的数量十分关键。token 越多，保留的细节越多，但计算量也越大；能够根据图像调整 token 数量的方法，可以在二者之间取得更灵活的平衡。视频是一连串画面，它的时长与分辨率是两个不同的挑战。

影响

Qwen2-VL 在 Qwen-VL 系列的基础上，增加了对长视频、多语言文字以及设备端代理式使用的支持。该系列随后由 Qwen2.5-VL 接替。^[3]