Cohere For AI 发布 Aya Expanse 8B 与 32B

背景

Aya Expanse 出自 Cohere 的研究实验室 ^[1]。

发生了什么

2024 年 10 月，Cohere 的研究实验室发布了 Aya Expanse，这是 8B 和 32B 两种规模的多语言模型 ^[1]。权重以非商业许可证发布在 Hugging Face 上 ^[2]。

关键细节

模型支持 23 种语言，其中包括日语 ^[1][3]。Cohere 将模型的质量归因于数据套利、多语言偏好训练和模型融合 ^[2]。模型融合是把分别训练的模型权重合并为一个模型。32B 模型的上下文窗口为 128k 个词元 ^[3]。

Cohere 在经评判的胜率测试中，将这些模型与 Gemma 2、Llama 3.1、Mixtral 8x22B 和 Qwen 2.5 作比较，由评判模型判断哪一个回答更好 ^[2]。

影响

这次发布为研究者和开发者提供了两种规模、覆盖 23 种语言的多语言模型，其中 32B 版本具有较长的上下文窗口。由于许可证为非商业用途，这些模型面向研究及其他非商业用途 ^[2]。