Yi-VL 多模态模型

是什么

Yi-VL-34B 与 Yi-VL-6B 是零一万物（01.AI）于 2024 年 1 月 23 日开源的一对视觉语言模型^[1]。视觉语言模型也叫多模态模型，可以同时接收图片和文字问题，并用文字回答。比如问它桌上有什么、图表说明了什么，或者标牌上写着什么，它会看图后作答。名称中的 34B 和 6B 指各版本核心语言模型的规模，可参见 Yi-34B 条目的说明。

这两款模型支持中文和英文，问题和回答可以使用任一语言^[2]。输入图片的分辨率为 448x448 像素。

工作原理

其设计沿用 LLaVA 架构，这是构建视觉语言模型的常见方案，由三部分组成。第一部分是视觉编码器，它是一个以 CLIP ViT-H/14 初始化的视觉 Transformer。CLIP 是一种把图片与文字描述对应起来训练的图像模型，ViT-H/14 是它的一个大型版本^[2]。第二部分是投影模块，这是一个两层的 MLP，负责把视觉特征转换为语言模型能够读取的形式。第三部分是语言模型本身，它以 Yi-34B-Chat（Yi-34B 的对话版本）作为初始化^[2]。

可以这样理解：视觉编码器把图片转换为一组数值特征，投影模块把这些特征转换为语言模型能处理的输入，语言模型再像阅读一段图片描述那样写出回答。

训练过程

训练分三个阶段进行。第一阶段使用约 1 亿组图文对，主要来自 LAION-400M 数据集，图片分辨率为 224x224。第二阶段使用约 2500 万组图文对，分辨率提升到 448x448。第三阶段使用约 100 万组图文对，对整个模型进行训练^[2]。先低分辨率、后高分辨率的分阶段训练，是控制训练成本、同时保证最终细节质量的常用做法。

训练 Yi-VL-34B 使用了 128 块 NVIDIA A800（80GB）GPU，历时约 10 天^[2]。A800 是面向数据中心的计算芯片，其中 80GB 指显存容量。

测试成绩

截至 2024 年 1 月的数据显示，Yi-VL-34B 在多模态基准 MMMU 和 CMMMU 上，在开源模型中排名第一^[1][2]。MMMU 是一套结合图片与文字的大学水平题目测试，CMMMU 是它的中文版本。零一万物报告，Yi-VL-34B 在 MMMU 上的准确率为 41.6%，而闭源模型 GPT-4V（由 OpenAI 开发）为 55.7%^[3]。这一数字说明，在这项测试中，开源模型当时仍落后于最好的闭源模型，但领先于其他开源模型。

局限

该模型每次输入只接受一张图片，功能限于视觉问答，即针对单张图片回答问题。它还可能产生幻觉，即描述图片中并不存在的内容^[2]。读者应把它的回答当作有帮助的初步解读，而非准确无误的描述。

许可与后续版本

模型权重以 Apache 2.0 许可协议发布，允许使用、修改和再分发，包括商业用途，但需保留许可声明^[2]。权重发布于 Hugging Face。之后，零一万物还通过 API 开放平台提供了托管的图像理解模型 Yi-Vision^[3]。

在 Yi 系列中的位置

Yi-VL 把 Yi 语言模型从文字扩展到了图像。它以 Yi-34B 为基础，因此其设计依赖于本档案中介绍的 Yi 语言模型系列。对读者而言，关键在于：视觉语言模型可以看作是一个加上了视觉能力的语言模型，其表现取决于视觉与语言两部分。