Aya Vision

是什么

Aya Vision 是 Cohere 的第一个视觉语言模型（vision-language model）：既能读入图像，也能读入文本，并以文本作答。2025 年 3 月 4 日，Cohere 的研究实验室以开放权重（open-weight）的形式发布 8B 和 32B 两个版本。^[1][3][4] 两个版本都提供可下载的权重，而不只是通过接口调用，这对一家公司此类模型的首发来说并不常见。

怎么做的

32B 版本把 Aya Expanse 32B 语言模型和 SigLIP2-patch14-384 视觉编码器（vision encoder）组合在一起，上下文长度为 16k token。^[2] 在这类模型里，编码器先把图像变成一串向量，语言模型再把这些向量当作普通文本 token 一样读进去，然后像续写任何一段文字那样生成关于这张图的回答。

图像会被切成最多 12 块 364x364 像素的图块（tile），另加一张缩略图；每块编码成 169 个视觉 token，因此一张图总共可以占用 2197 个 token。^[2] 切块让小字和细节看得清，代价是一张图就会占掉 16k 上下文窗口的相当一部分——分辨率和 token 预算必须一起权衡。

语言

Aya Vision 支持 23 种语言的输入，包括英语、日语、阿拉伯语和印地语。^[1] 多语言的图像理解比多语言文本更难，因为模型要把看到的内容接到每种语言自己的词汇和语法上，而不只是接到英语上。它的语言模型来自 Aya 系列，这也是它多语言能力的来源。^[2]

结果

Cohere 称 8B 版本超过了体量约为其 11 倍的 Llama 90B，32B 版本超过了 Qwen 72B、Llama 90B 和 Molmo 72B，在 AyaVisionBench 和 m-WildVision 上的胜率最高分别为 79%（8B）和 72%（32B）。^[1] 32B 版本具体的对比对象是 Llama-3.2 90B Vision、Molmo 72B 和 Qwen2.5-VL 72B。^[2]

这类胜率来自两两比较：让两个模型回答同一个问题，由裁判挑出更好的那个答案。这些评测所用的裁判是 claude-3-7-sonnet-20250219。^[2] 读这类数字时要记住：它衡量的是哪个答案更受偏好，而不是答案是否正确，充当裁判的模型也会把自己的倾向带进比较里。

许可与获取

Aya Vision 以 CC BY-NC 4.0 发布，仅限非商业用途。^[1][2] 模型可以在 Cohere 官网、Hugging Face、Kaggle 上获取，也可以通过 WhatsApp 使用；Cohere 同时公开了评测集 AyaVisionBench，方便别人跑同样的测试。^[1] 对想拿权重做产品的人来说，非商业条款是实际的门槛：这里的「开放」意味着可以查看、运行和测试，而不是可以自由用于商业服务。

位置

Aya Vision 是 Cohere 进入视觉语言方向的第一款模型，两个尺寸都以开放权重发布，并附带自己的评测基准。^[1][4] 它建立在 Aya Expanse 32B 语言模型之上，再在上面加一个独立的视觉编码器，^[2] 因此它的多语言表现和图像处理能力来自两套拼接在一起的组件。这种组合正是它主要的卖点：在足够小、可以运行和检查的体量里，同时提供较广的语言覆盖和图像理解。