零一万物开源 Yi-VL 多模态模型

背景

到 2024 年初，零一万物已经发布了开源的 Yi 基础模型，并围绕它们搭建起模型系列。只能处理文字的语言模型看不到图片，因此要让模型同时理解图像和文字，需要另一条技术路线。视觉语言模型（多模态模型）是当年开源开发者的主要方向之一^[1]。Yi-34B 此前是在文字上训练的，公司的下一步，是把它扩展到图像。

理解这次发布，需要了解测试方式。基准测试（benchmark）是一套标准化的考题，让不同模型在相同问题上比较。MMMU 是一套结合图片与文字的大学水平题目测试，CMMMU 是它的中文版本。这些测试的成绩反映了模型把看到的内容与已有知识结合起来的能力。

发布内容

2024 年 1 月 23 日，零一万物同时发布了 Yi-VL-34B 与 Yi-VL-6B 两款模型^[1]。两者的区别在于核心语言模型的规模。模型权重以开源形式发布在 Hugging Face 上，这是开发者分享模型、数据集和模型卡的平台^[2]。

这两款模型把基于 CLIP ViT-H/14 的视觉编码器与 Yi 对话语言模型通过投影模块连接起来。其设计沿用 LLaVA 风格，即用一个小型适配器把视觉编码器与语言模型连接，把图像特征转换为语言模型可以读取的输入^[2]。CLIP 是一种把图片与文字对应起来训练的图像模型，因此它的编码器在 Yi 部分开始工作之前，已经能理解大量视觉内容。

模型支持中文和英文，输入图片的分辨率为 448x448^[2]。采用固定分辨率意味着，每张图片在模型读取前都会被缩放到同样的输入尺寸。

关键细节

截至 2024 年 1 月，Yi-VL-34B 在 MMMU 与 CMMMU 基准上，名列开源模型第一^[1]。这一排名只限于开源模型，并不意味着它超过了当时被认为最强的闭源系统。

训练 Yi-VL-34B 使用了 128 块 NVIDIA A800 GPU，历时约 10 天^[2]。GPU 是训练大模型时承担主要计算的处理器，A800 是面向数据中心设计的型号。

模型权重以 Apache 2.0 许可协议发布，只要保留许可声明，即可用于商业用途^[2]。Hugging Face 上的模型卡列明了这一许可，读者若需了解当前条款，应以该文档为准。

影响

这次发布为中英文开发者社区提供了一款能够读取图片并回答相关问题的开源模型。由于权重可以获取，人们可以自行运行模型，用自己的图片进行测试，并为自己的应用做适配。它还表明，一家以文字模型闻名的公司，也能推出在双语基准上表现良好的视觉模型。

这次发布的局限与其优势同样重要。模型每次只接受一张图片，功能限于视觉问答，并可能生成图片中不存在的内容。基于它开发的人，都需要针对自己的应用场景测试这些表现。

对普通读者来说，这一事件是开源 AI 运作方式的一个例子：公司公开权重，社区在共同的基准上进行测试，结果由公司之外的人来评判。