Yi-34B / Yi-6B

是什么

Yi-34B 与 Yi-6B 是零一万物（01.AI）发布的一组开源大语言模型（LLM）。零一万物是 2023 年由李开复在北京创办的公司^[1]。大语言模型是在海量文本上训练出的程序，能够预测和生成语言，因此可以回答问题、概括文档、编写代码。名字中的 34B 和 6B 指参数规模，即训练过程中调整的网络内部数值。Yi-34B 是较大的一款，Yi-6B 是较小的一款。

Yi 系列模型属于基础模型（base model），即先在大量文本上做通用训练，之后可以再改造成对话助手。该系列也包括对话版本，如 Yi-34B-Chat，它们都建立在基础模型之上^[1]。

由来

基础模型 Yi-6B 与 Yi-34B 于 2023 年 11 月 2 日发布。带 200K 上下文窗口的版本随后在 11 月 5 日推出，11 月 23 日又推出对话模型，包括 Yi-34B-Chat，以及 Yi-6B-Chat 的普通版、4 比特和 8 比特量化版^[1]。上下文窗口是模型一次能阅读的文本长度，量化则是用更少的比特存储模型权重，以减少内存占用。

当时，零一万物还是一家年轻的初创公司。公司在 2023 年早些时候于北京成立，这一发布恰逢其估值突破 10 亿美元，距公司成立约八个月^[4]。

主要特点

这些模型是双语模型，从零开始在英文和中文文本上预训练，使用的训练数据为 3 万亿词元（token）。词元是一种小的文本单位，通常是一个词或词的一部分^[1]。

基础模型的训练序列长度为 4K，推理时可以扩展到 32K。推理是模型训练完成后用于生成答案的阶段。200K 版本一次输入可处理约 40 万个汉字^[1]。

Yi 采用 Llama 架构，可以用 Llama 类模型使用的 LlamaForCausalLM 类加载。不过，零一万物表示这些模型并非 Llama 的衍生品，也没有使用 Llama 的权重^[1]。架构指网络的设计方式，权重则是训练得到的数值，决定模型的具体表现，二者是两回事。

在基准测试中，截至 2023 年 11 月的数据显示，Yi-34B 在 Hugging Face 开放大模型排行榜和 C-Eval 上，英文与中文开源预训练模型均排名第一^[1]。截至 2024 年 1 月的数据显示，Yi-34B-Chat 在 AlpacaEval 上仅次于 GPT-4 Turbo，排名第二；在 MMLU、CMMLU、BBH 和 GSM8k 上，它在开源模型中排名第一^[1]。

2024 年 3 月 7 日，长上下文版本 Yi-34B-200K 完成改进，在「大海捞针」（Needle-in-a-Haystack）测试中的得分从 89.3% 提升到 99.8%。该测试把一条简短事实藏在长文本中，让模型把它找出来。这次改进使用了 50 亿词元规模的长上下文数据混合^[1]。

2024 年 3 月 6 日发布的 Yi-9B，是在 Yi-6B 基础上又继续训练了 8000 亿词元。零一万物表示，它是同等规模开源模型中综合表现最好的一款^[1]。

许可协议

发布之初，模型以零一万物自有的许可协议开放，供研究使用，不允许商用^[3]。现在，代码和权重改为 Apache 2.0 许可协议发布^[1]。Apache 2.0 是一种宽松的开源许可，允许使用、修改和再分发，包括商业用途，但需保留许可声明。

在发展中的位置

Yi-34B 的发布，是中国开源模型与美国模型同场竞争公开榜单的一个典型例子。其技术报告《Yi: Open Foundation Models by 01.AI》于 2024 年 3 月发布在 arXiv 上^[2][1]。零一万物称，Yi-34B 在发布后第一个月占据了开源社区热门模型近一半的位置，此后该模型还被加入 NVIDIA 的 playground，即可在线试用模型的环境^[5]。这些数据来自公司自身，反映的是该模型向开发者呈现的方式。此后，Yi 系列的其他模型，包括 Yi-VL 和 Yi-Coder，都以它为基础。