孟子3（Mengzi3）

是什么

孟子3（Mengzi3）是澜舟科技（Langboat）开源的一系列大语言模型，分为 8B 和 13B 两种参数规模^[1][2]。其中 13B 基础模型（base）的权重于 2024 年 3 月 29 日上传到 Hugging Face^[1][2]。基础模型是预训练完成、尚未针对对话作调整的版本，对话版在此基础上再作训练。

怎么做的

模型采用 Llama 架构^[1]。澜舟没有从零开始预训练，而是在已有检查点的基础上，继续用数万亿多语言 token 训练^[1]。架构决定网络的形状，训练过程决定模型接触到什么内容；从检查点继续训练，可以让此前已经花掉的算力延续下来，新增的 token 则决定了模型往哪些数据和语言上走。token 是模型读写和预测的基本文本单位，大致相当于一个词或词的一部分。语料来自网页、百科、社交媒体、新闻和开放数据集^[1]，既有长篇的参考资料，也有短而口语化的文本。

评测结果

在 5-shot 评测下，Mengzi3-13B-Base 在 MMLU 上得 0.651，CMMLU 0.588，OCNLI 0.776，GSM8K 0.631，HumanEval 0.287^[1]。所谓 5-shot，是在提示里先给模型 5 个示例，再让它回答题目。其中 MMLU、CMMLU、OCNLI 三项成绩来自北京智源人工智能研究院（BAAI）运营的评测平台 FlagEval^[1]。各项表现并不平均：在中文自然语言推理基准 OCNLI 上最高，在考察代码生成的 HumanEval 上最低，为 0.287^[1]。这类分数主要用于横向比较，说明的是模型在选项里挑对答案或通过测试用例的比例，并不等于它在开放对话中的表现。

后续版本

仓库里还列出一个 Mengzi3.5-13B-Base，MMLU 0.776、CMMLU 0.813、HumanEval 0.532^[1]。

许可与分发

许可证为 Apache-2.0，面向学术研究开放，商业使用免费^[1][2]。这是一种宽松许可，使用者在遵守许可条款的前提下可以复用和再分发权重，包括用于商业用途。权重在 Hugging Face、ModelScope、Wisemodel 和 MindSpore MindFormers 上都有镜像^[1]，同一套文件可以从多个托管服务获取，其中一家与 MindSpore 框架相关。

在发展中的位置

8B 对话模型的权重在基础版之后发布，于 2024 年 9 月 14 日上传^[2]。13B 基础权重发布时，13B 对话模型在仓库里仍标注为即将推出^[1]。澜舟还表示，团队自身没有在孟子3之上构建任何应用^[1]。因此这次发布提供的是模型权重本身，而不是封装好的成品；拿它做什么，取决于外部的使用者。