零一万物发布开源大模型 Yi-34B 与 Yi-6B

背景

2023 年，许多中国公司开始研发大语言模型，这类系统是聊天机器人和许多其他 AI 工具的基础。零一万物于 2023 年 3 月在北京成立，创办人是李开复。李开复此前创办了微软中国研究院，并担任过谷歌中国总裁^[1]。公司成立约八个月后，估值便超过 10 亿美元，这一估值来自包括阿里云在内的一轮融资^[3]。

对研究者和开发者来说，开源模型之所以重要，是因为他们可以下载权重，在自己的硬件上运行模型，并研究它的表现。这类模型最常发布在 Hugging Face 上，那是一个开发者分享模型权重、数据集和模型卡（model card）的平台。模型卡是描述模型训练方式、适用场景和评测结果的说明文档。

发生了什么

2023 年 11 月 2 日，零一万物发布了基础模型 Yi-6B 与 Yi-34B。5 天后，即 11 月 5 日，公司推出了可处理 200K 上下文窗口的版本，即模型一次能读取更长的输入^[1]。这些模型在 3 万亿词元的中英文数据上预训练，公司将其定位为双语模型^[1]。

Yi-34B 在 Hugging Face 开放大模型排行榜和 C-Eval 上，名列开源预训练模型第一。这一排名使它排在 Meta 的 Llama 2 之前。Llama 2 是 Meta 的开源模型^[2]。

这些模型最初仅开放用于研究和非商业用途，也就是说，企业可以研究它们，却不能用来开发收费产品^[2]。之后，代码和权重的许可改为允许商用的 Apache 2.0^[1]。

2023 年 11 月 23 日，对话模型随之发布，零一万物当天还把许可协议更新到 2.1 版^[1]。基础模型只能续写文本，并未针对对话进行调优，因此大多数人在把模型当作助手使用时，接触到的是对话版本。

关键细节

发布时还公布了与融资有关的情况。李开复表示，在公司成立约八个月后，融资估值突破 10 亿美元，这一轮融资包括阿里云的投资^[3]。估值超过 10 亿美元，是初创公司成为独角兽的标准。

因此，这次发布同时带来两个里程碑：一组在公开测试中、于开源预训练模型里排名第一的模型，以及一家在成立约八个月后估值超过 10 亿美元的 AI 初创公司。

影响

对刚接触 AI 的读者来说，Yi-34B 的发布展示了开源模型之间如何竞争。开发者通过共同的测试评判模型，例如衡量中文知识的 C-Eval，同时也看重权重是否容易获取和使用。Yi 系列由此发展起来。Yi-6B 与 Yi-34B 之后，陆续出现了长上下文、对话、视觉、代码以及更大规模的模型，Yi-34B 也成为其他 Yi 系列模型的基础，例如 Yi-VL 视觉语言模型。

这一事件还说明了许可协议如何影响模型的采用。仅开放用于研究、限制商用的模型，与采用 Apache 2.0 发布的模型，吸引的用户群体并不相同。许可协议修改后，企业才能基于这些模型开发产品，使用者的范围也随之扩大。

最后，这次发布体现了公开榜单的作用。在模型刚问世时，外界主要通过 Open LLM Leaderboard 和 C-Eval 上的结果，把它与其他模型进行比较。这些排名反映的是 2023 年底开源模型的状况，读者若想了解此后的变化，应当查看同一榜单上的最新结果。