Mistral AI 发布首个开放权重模型 Mistral 7B

背景

公司成立还不到五个月。^[1][3] 模型权重可以直接下载，也发布在 Hugging Face 上。^[1]

开放权重（open-weight）指公开模型训练得到的参数，任何人都可以下载并运行，但训练数据与训练代码未必公开。Apache 2.0 是一种宽松的许可证，允许使用、修改和再分发，包括商业用途，但需保留许可证和版权声明。参数量是衡量模型规模的粗略指标；与最大的系统相比，70 亿参数级别的模型对硬件要求较低，更便于个人和小团队使用。

发生了什么

2023 年 9 月 27 日，Mistral AI 发布了 Mistral 7B，这是一个参数量为 73 亿的语言模型。距离公司成立还不到五个月。^[1][3] 同一时间，经过指令微调、能够按指令作答的 Mistral 7B Instruct 版本也一并发布。^[1]

模型权重以 Apache 2.0 许可证发布，可以直接下载，也可以在 Hugging Face 上获取。^[1]

关键细节

据 Mistral 介绍，该模型在所有基准测试中超过了 Llama 2 13B，在许多基准上超过了 Llama 1 34B。^[1] 模型采用分组查询注意力以加快文本生成，并采用滑动窗口注意力，即每一层只关注前面的 4096 个隐藏状态。^[1]

技术论文于 2023 年 10 月 10 日发布在 arXiv 上。^[2] 论文描述了模型的架构。^[2]

基准测试（benchmark）是用于比较模型的标准化测试集，例如选择题考试或编程题。不同模型之间的比较取决于测试集、提示格式以及结果的测量方式，因此开发者自己公布的成绩最好与独立评测结果对照阅读。

影响

这是 Mistral AI 的第一个开放权重模型。^[1] 许可证开放、规模不大的模型，个人开发者、大学和公司都可以在自己的硬件上运行。^[1]