NVLM 1.0

是什么

NVLM 是 NVIDIA 的一组多模态大语言模型（multimodal large language model）。所谓多模态，是指模型除了文本之外还能处理图像这类其他输入。这个系列由 Wenliang Dai 与另外九位合著者在论文中提出，作者中包括 Bryan Catanzaro 和 Wei Ping，论文于 2024 年 9 月 17 日发布到 arXiv。^[1]

设计上的取舍

论文讨论的核心问题是架构选择。当时的多模态模型大致分成两派：一派是以 LLaVA 为代表的 decoder-only 结构，把图像信息直接送进语言模型的输入序列，由同一个模型统一解码；另一派是以 Flamingo 为代表的交叉注意力（cross-attention）结构，在语言模型里插入专门的注意力层去读取图像特征，而不把图像特征当作普通词元。论文对这两类设计做了比较，并提出一种把两者结合起来的混合架构。^[1]

针对高分辨率图像，论文还提出了一维瓦片标记（1-D tile tagging）：把大图切分成若干瓦片，沿一个维度给瓦片加上标记，让模型能够区分各块瓦片、保留它们的排布关系。^[1]

结果与作者的主张

作者报告了当时最好的视觉语言结果，称其表现可与 GPT-4o 以及 Llama 3-V 405B、InternVL 2 等开放模型相比。^[1] 这些对比是论文作者自己给出的。

论文特别强调的一点与文本能力有关：经过多模态训练之后，模型在纯文本任务上反而优于它自己的语言模型主干，数学和编程方面都有提升。^[1] 这一点值得注意，因为给语言模型加上图像训练，并不自动意味着它的文本能力会被保留下来。

作者还提出，数据集的质量和任务多样性比规模更重要。^[1] 也就是说，他们认为起作用的不只是更多的数据或更大的参数，而是挑选得更好、覆盖任务更广的数据。

开放发布

NVIDIA 在 Hugging Face 上发布了旗舰模型 NVLM-D-72B 的权重，维基百科将这次开放发布记在 2024 年 10 月。^[1][2] 权重采用知识共享署名—非商业性使用 4.0（Creative Commons Attribution-NonCommercial 4.0）许可，同时还要遵守 Qwen2-72B-Instruct 和 InternViT 的许可条款，NVIDIA 表示该模型可用于非商业用途。^[3]

NVLM-D-72B 采用 decoder-only 结构。按 NVIDIA 的说法，它能处理光学字符识别（OCR）、多模态推理、定位、常识推理、世界知识和编程等任务。^[3]

除了权重，训练代码也发布在 NVIDIA 的 Megatron-LM 仓库中。模型先用旧版 Megatron-LM 训练，之后适配到 Hugging Face；NVIDIA 同时指出，Megatron 与 Hugging Face 两套代码库之间存在数值上的差异。^[3] 这个提醒对想复现或微调模型的人很实际：同一份权重跑在两套代码里，得到的数字不会完全一致。

在发展中的位置

NVLM 是 NVIDIA 投向可公开下载的多模态模型这一队列的成果，论文直接把它与专有系统和其他开放模型放在一起比较。^[1] 作为研究模型，它的公开程度相当完整——架构说明、权重和训练代码都有——但非商业许可加上各组件的许可叠加，限制了它能被用来做什么。^[3] 论文对两类架构的比较，以及「数据质量和任务多样性比规模更重要」的判断，是后来者最可能借用的部分。^[1]