Aya 23

是什么

Aya 23 是 Cohere For AI 发布的一组开放权重（open weights）多语言指令微调（instruction-tuned）模型，2024 年 5 月随一份 arXiv 报告公开^[1]。它提供 80 亿和 350 亿参数两个规模^[1]。参数是神经网络在训练中学到的数值，参数量可以粗略理解为模型能容纳多少内容。指令微调指在「请求—好回答」的样例上再训练一轮，让模型学会按要求作答，而不只是顺着前文往下写。

开放权重意味着训练好的参数可以下载到本地运行，而不必只通过厂商的接口调用；能拿来做什么，则由许可证规定。

由来

这一系列在 2024 年 5 月 23 日提交到 arXiv 的报告中提出，5 月 31 日又有一版修订^[1]。它接续此前覆盖 101 种语言的 Aya 101。Aya 23 只覆盖 23 种语言，这是有意的取舍：用 Aya 101 的广度换取每种语言上更多的容量^[1]。道理不难说明：指令数据和模型容量都有限，摊到上百种语言上，每种分到的很薄；摊到二十几种上，每种就厚一些。一个处处勉强可用的模型，未必比一个在用户真正需要的语言上好用的模型更有价值。

在构建方式上，Aya 23 把 Cohere 预训练的 Command 系列模型与 Aya Collection 指令数据结合起来^[2]。也就是说，基础模型并非为这次发布从零训练，而是用多语言指令数据对已有的多语言基座模型做了适配。

作者报告的结果

作者报告说，Aya 23 在其覆盖的语言上优于 Aya 101^[1]；在一系列判别式（discriminative）与生成式（generative）任务上，它也优于 Gemma、Mistral 和 Mixtral^[1]。这两类任务的区别值得说明：判别式任务要求模型做选择或判断，比如在若干选项中挑出正确答案、判断两句话是否同义；生成式任务要求模型产出文本，比如作答、写摘要或翻译。多语言模型常被主要在生成类任务上衡量，两类都报告，能给出更完整的能力图景。以上都是作者在发布时自己报告的比较结果。

80 亿参数版本的上下文长度为 8,192 个词元（token）^[2]。上下文长度指模型一次作答时能同时「看见」多少文本；上下文越长，越能处理长文档或多轮对话而不丢掉前面的内容。

许可与获取

权重以非商业的 CC-BY-NC 4.0 许可证发布^[2]。这一许可允许在署名前提下复用和修改，但不允许商业使用。Cohere Labs 的模型卡还补充，按此许可使用模型还须遵守 Cohere Labs 的《可接受使用政策》（Acceptable Use Policy）^[2]，那是一份单独列明禁止用途的文件。对打算做产品的人来说，许可证和跑分同样重要：一个可以公开下载、但条款限定为非商业的模型，适合研究、复现和试验，却不能直接拿去发布。

位置

2024 年 10 月，Aya 23 由 Aya Expanse 接续，后者保持了 23 种语言的重点^[2]。这种延续本身就说明了方向：后续版本没有回到 Aya 101 那种宽而浅的覆盖，而是留在较窄的语言集合上继续打磨质量。Aya 23 因此可以看作 Aya 系列从「尽可能多的语言」转向「更少的语言、做得更好」的转折点。