Aya Expanse

是什么

Aya Expanse 是 Cohere For AI 在 2024 年 10 月发布的多语言开放权重（open-weight）模型系列，分为 80 亿（8B）和 320 亿（32B）两个规模^[3][1]。其中 32B 版本的模型卡写明参数量为 320 亿^[1]。所谓开放权重，指训练好的模型权重可以被下载到本地运行，而不只是通过接口调用。

这个系列覆盖 23 种语言：阿拉伯语、中文、捷克语、荷兰语、英语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、土耳其语、乌克兰语和越南语^[2]。名单里既有英语、中文、西班牙语这样使用者众多、语料极其丰富的语言，也有希腊语、希伯来语、罗马尼亚语、乌克兰语这类在训练数据和评测基准中长期占比较小的语言。用一套权重覆盖全部语言，而不是每种语言单独训练一个模型，是这个系列的基本思路。

怎么做的

Cohere For AI 的说法是，这些模型把 Cohere 的 Command 系列预训练模型与四项研究技术结合起来：数据套利（data arbitrage）、多语言偏好训练、安全调优和模型合并^[1]。这四项大致对应模型构建的不同环节。

数据环节决定模型在训练中读什么。偏好训练让模型朝「被判定为更好的回答」调整，而不只是学着预测下一个词。安全调优对有害或违规的输出做同类的调整。模型合并则是把分别训练好的多个模型的权重合成一个，作为从零训练一个大模型的较廉价替代。各项技术各自贡献多少，要读技术报告才说得清，模型卡本身并不展开。

上下文与输出长度

32B 模型的上下文窗口为 128k token，单次最多可输出 4k token^[2]。token 是模型处理文本的基本单位，大致相当于一个词或词的一部分。128k 的上下文意味着用户可以在一次请求里放入一整章书、一个很大的源码文件或一份完整的转写稿。输出上限是另一个独立限制，它决定一次回答能有多长。

评测方式

Aya Expanse 团队用胜率（win-rate）来评测。做法是把同一个提示下两个模型的回答交给裁判模型，由它判断哪一个更好，某个模型的胜率就是它的回答被判更好的比例。这里的裁判是 GPT-4o，对比对象是 Gemma 2 27B、Llama 3.1 70B、Mixtral 8x22B 和 Qwen 2.5 32B^[1]。评测使用的是翻译成 23 种受支持语言的 Arena-Hard-Auto 数据集^[4]。arXiv 论文称，Aya Expanse 32B 的成绩超过了参数量约为其两倍的 Llama 3.1 70B^[4]。需要说明的是，由模型充当裁判得到的胜率是一种代理指标，它记录的是该裁判更偏好哪个回答，不等同于人工评测。

许可与获取

模型以 CC-BY-NC 4.0 许可发布，即非商业性使用^[1][2]。模型卡说明它受 CC-BY-NC 约束，同时要求遵守 Cohere Labs 的可接受使用政策^[1]。因此权重可以下载下来，用于研究和其他非商业用途。此外，它也可以通过 Cohere 的 Chat API 调用，模型名为 c4ai-aya-expanse-32b^[1][2]。

技术报告

题为《Aya Expanse》的技术报告于 2024 年 12 月发布在 arXiv 上^[4]。

在发展中的位置

Aya Expanse 32B 后来成为 Aya Vision 32B 的语言模型，后者于 2025 年 3 月发布^[1]。2026 年，Cohere 又推出了 Tiny Aya，这是一个 33.5 亿参数的系列，覆盖 70 种语言，设计目标是能在设备端运行^[1][5]。这两次后续发布指向两个方向：Aya Vision 把语言模型与另一类输入配合起来，Tiny Aya 则体量小得多、语言覆盖更广，目标是本地运行而不是作为大型托管模型提供服务。