澜舟科技开源孟子3（Mengzi3）模型

发布内容

2024年3月29日，澜舟科技（Langboat）发布孟子3（Mengzi3）系列模型，包含80亿参数和130亿参数两个规模^[1][2]。首发只放出了基础版本（base）的权重，官方表示130亿参数的对话版本（chat）还在准备中^[1]。两个基础模型均采用 Apache-2.0 许可，可以免费用于商业用途^[1]。

发布渠道

权重同时上线 Hugging Face、ModelScope（魔搭）、Wisemodel 以及昇思 MindSpore 的 MindFormers^[1]。同时铺到多个平台，意味着使用者可以挑自己现有工具链已经对接的那一个；而 MindFormers 的上架，则让这组权重直接进入 MindSpore 生态，而不只出现在与其他训练框架更常搭配的模型仓库里。

评测表现

澜舟科技称，在 5-shot 设置下，Mengzi3-13B-Base 在 MMLU 和 CMMLU 两个基准上超过了 Baichuan2-13B、Qwen-14B 和 Skywork-13B^[1]。MMLU 是一个覆盖多学科知识的选择题基准，题目以英文为主；CMMLU 是它的中文对应版本，题目取自中文语境。所谓 5-shot，是指在提示中先给模型五道示例题、再让它回答被计分的那道题，过程中不做额外训练——这是比较基础模型时的常规做法，因为基础模型本身只被训练来做「续写下一个词」。需要注意的是，这些成绩由厂商自行报告；与之对比的三款模型也都是中国团队的开源模型，语言覆盖上大体可比。其中最值得留意的是参数量差：一个130亿参数的模型在两个基准上都被报告领先于140亿参数的对手^[1]。

定位

澜舟科技把这代模型定位为以中文能力为核心，同时保持多语言能力^[1]。这是一个比「全面最强」更窄的说法：目标是把中文做好，同时不丢掉在其他语言上工作的能力。

对话版本来得更晚

2024年9月14日，80亿参数的对话版本上架 Hugging Face，距离基础权重发布已近六个月^[2]。基础权重和对话权重是两种不同的产物：基础模型只被训练来预测下一个词，主要作为继续训练和跑评测的起点；对话模型还需要额外的后训练与评测才能对外发布，这段时间大多花在这些工作上。

意义

这次发布有三点值得记下：一是许可宽松，无需另签协议即可商用^[1]；二是权重一次性铺到四个平台^[1]；三是一个130亿参数的模型在 MMLU 和 CMMLU 上被报告领先于140亿参数的对手^[1]。放在一起看，它呈现了开源权重模型常见的一种发布节奏：先把基础权重和许可放出来，等后训练完成后再补上对话版本^[2]。