零一万物以 Apache 2.0 开源 Yi-1.5

背景

此前发布的最初 Yi 模型，让零一万物确立了其作为双语开源语言模型发布者的地位。到 2024 年春天，公司即将迎来在北京成立一周年，并借这一场合发布了多款模型。李开复担任公司首席执行官，也出席了这次发布^[3]。

开源发布既是技术决定，也是关于获取途径的决定。公司以开源许可发布权重后，任何人都可以下载并在此基础上开发。公司选择的许可协议与发布的规模，决定了谁能使用这些模型以及用于何种用途。

发生了什么

2024 年 5 月 13 日，零一万物以开源形式发布 Yi-1.5 系列，包括 34B、9B 和 6B 三种规模^[1]。每种规模都有基础模型和对话模型^[3]。这次发布是公司一周年发布会的一部分，同场还推出了闭源的 Yi-Large 模型^[3]。

Yi-1.5 在原有 Yi 模型的基础上，继续预训练了 5000 亿词元，随后又用 300 万条样本进行了微调^[2]。这两个阶段是此次升级的核心。代码和权重以 Apache 2.0 许可协议发布^[1]。

公司还称，Yi-1.5-9B-Chat 在同等规模的开源模型中处于领先^[2]。这是公司自己的说法，读者应当以此看待。

关键细节

模型同时提供基础版和对话版，开发者可以在用于续写文本的模型与经过对话调优的模型之间选择。发布中还包括 16K 和 32K 上下文窗口的版本，例如 Yi-1.5-34B-32K^[2]。这些窗口指模型一次能阅读的文本长度。

Apache 2.0 是这次发布中最重要的法律细节。它允许使用、修改和再分发，包括商业用途，但需保留许可声明。由于最初的 Yi-34B 仅限研究和非商业用途，这一许可变化是两次发布之间的主要区别之一。

影响

Yi-1.5 的发布扩大了 Yi 系列的使用范围。原先无法在商业产品中使用最初模型的开发者，现在可以基于新模型开发；研究者则可以下载权重、进行测试并发表自己的结果。这次发布也体现了公司的策略：在闭源旗舰之外，保留一条开源的模型线。

对刚进入这一领域的读者来说，这次事件是一个有用的案例。它说明版本号、规模与许可协议共同界定了一个模型是什么，以及谁能使用它。它也说明，公司在发布时往往会公布自己的基准成绩，而这些成绩最好与独立测试对照来看。

这次发布也是更长时间线的一部分。2024 年晚些时候，公司又发布了 Yi-Coder 和 Yi-Lightning。把这次 5 月的发布与之后的几款模型放在一起看，可以更完整地理解公司模型线的发展。