Cohere For AI 发布开放权重的 Aya 23

背景

Cohere For AI 将 Aya 23 以报告的形式发布在 arXiv 上 ^[1]。

发生了什么

2024 年 5 月 23 日，Cohere For AI 发布了 Aya 23，这是一组覆盖 23 种语言的多语言模型 ^[1]。开放权重分为 8B 和 35B 两种规模 ^[1]。这些模型建立在 Cohere 预训练的 Command 系列之上 ^[2]。

关键细节

与早先的 Aya 101 不同，Aya 23 注重深度而非广度，把更多容量投入到较少的语言上 ^[1]。团队称，在许多任务上，Aya 23 优于 Aya 101、Gemma、Mistral 和 Mixtral ^[1]。

权重采用非商业许可证 ^[2]，因此商业使用需要另行安排。

影响

Aya 23 让多语言模型系列聚焦于固定的 23 种语言，这一选择也被其后继者 Aya Expanse 保留 ^[2]。