Yi-1.5

是什么

Yi-1.5 是零一万物（01.AI）于 2024 年 5 月 13 日开源的一系列大语言模型。它有三个参数规模——34B、9B 和 6B——每个规模都提供基础版（base）和对话版（chat）两种形态^[1][3]。基础版是未经对话调优的原始预训练网络，适合继续训练或微调；对话版则针对多轮对话和指令跟随做过调整，普通用户直接使用的通常是后者。

由来

Yi-1.5 不是从零设计的新模型，而是在原 Yi 模型上做的升级。零一万物在 Yi 的基础上继续预训练，使用的高质量语料规模为 5000 亿 token，随后又在 300 万个多样化样本上做了微调^[2]。继续预训练的意思是，原有模型的参数被保留下来，只是再喂给它大量新文本，让它在已有能力上吸收更多知识和语言模式；相比用同等规模从零训练一遍，这种做法通常更省算力。模型卡的概览表中列出的预训练总规模为 3.6 万亿 token^[2]。

规模、上下文与许可

这个系列覆盖了差别很大的部署条件。34B 模型适合手头有较大 GPU 服务器的场景，9B 和 6B 则小到可以在更普通的硬件环境里运行。上下文长度被当作一个独立选项处理：模型卡里列出了 4K、16K 和 32K 三种上下文变体^[2]，零一万物也在标准版本之外发布了长上下文版本，例如 Yi-1.5-34B-32K^[2]。上下文窗口越长，模型一次能读入的文本就越多，可以处理长文档或很长的对话，而不必过早丢掉前面的内容。

代码和权重以 Apache 2.0 许可发布，允许商业使用^[1]。对于想直接在产品里使用模型、又不愿单独谈授权的公司来说，这一条和跑分数字同样重要。

公布的评测成绩

零一万物自己的对比主要集中在较小的对话模型上。公司称，6B 和 9B 对话模型在 GSM-8K、MATH、HumanEval 和 MBPP 上超过了同规模模型以及 Llama-3-8B-Instruct，并在 MT-Bench、AlignBench 和 AlpacaEval 上领先同规模模型^[3]。前一组基准测试考察的是小学难度数学题、竞赛风格数学题和代码生成；后一组考察的是由模型或偏好数据评判的通用对话质量与对齐水平。零一万物还表示，Yi-1.5-9B-Chat 在同规模开源模型中表现最好^[2]。这些是厂商自己公布的评测，独立测试在不同提示词和设置下可能给出不同排序。

在系列中的位置

Yi-1.5 不是单独亮相的。它与闭源的 Yi-Large 模型和万知应用一同在零一万物的一周年活动上发布^[3][4]，这次发布呈现出两条并行的路线：面向外部开发者开放许可的中小规模模型，以及通过产品触达用户的大规模闭源模型。权重发布在 Hugging Face 上，Yi-1.5 的合集页面在 2024 年 5 月 20 日有过更新^[2]，也就是发布一周之后。就整个 Yi 系列而言，Yi-1.5 处在承前的位置：它是对最初那批开源模型的刷新，而同一时刻，这家公司开始把重心移向规模大得多的闭源模型。