MiniCPM4（面壁智能端侧模型）

是什么

MiniCPM4 是一款明确面向端侧设备（end-side device）而不是服务器的语言模型^[1]。端侧指的是用户手边、身边的硬件——手机、笔记本、小型电路板——而不是通过网络访问的数据中心里的机器。这个定位会牵动设计中的每一环：内存、带宽、响应延迟，以及模型能处理多长的上下文，约束都比在服务器上更紧。

已经公开模型卡的版本是 MiniCPM4-8B，其 Hugging Face 模型卡创建于 2025 年 6 月 5 日，采用 Apache-2.0 许可^[2]。

由来

面壁智能（ModelBest）团队于 2025 年 6 月 9 日发布 MiniCPM4 技术报告^[1]。这份报告是目前对这项工作最完整的公开说明，覆盖的内容包括：一种新的注意力机制、两套数据方案、一个用于搜索预训练配置的工具、后训练阶段的改动、一种三值权重方法，以及一套推理系统。

长上下文与稀疏注意力

普通的注意力（attention）机制让序列里每个词元（token）都去看其他所有词元，序列一长，计算量按长度平方增长，这是长输入代价高昂的主要原因。MiniCPM4 提出了 InfLLM v2，一种可训练的稀疏注意力（sparse attention）机制，在处理长上下文时同时加速预填充（prefill）和解码（decode）两个阶段^[1]。稀疏注意力指的是每个词元只与一部分词元交互，而不是与全部词元交互；说它「可训练」，是指「看哪些词元」这件事是跟着模型一起学出来的，而不是事先手工固定。预填充是把整段提示一次跑完，解码是之后逐个词元地生成，两者瓶颈不同，所以报告把它们分开处理。

数据

预训练使用 UltraClean，这是一种预训练数据的过滤与生成策略；有监督微调使用 UltraChat v2^[1]。团队表示，这两套数据集只用了 8 万亿（8 trillion）训练词元就达到了令人满意的表现^[1]。这是一个关于数据效率的说法，而不是关于规模的，在训练预算本身就是约束时尤其重要。

预训练策略搜索

同一项工作提出了 ModelTunnel v2，用于高效地搜索预训练策略^[1]。训练一次模型代价很高，把很多种配置各完整跑一遍并不现实，有了搜索工具，就可以用较低的成本先比较不同策略，再决定采用哪一种。

后训练

后训练阶段加入了分块式 rollout（chunk-wise rollout），让强化学习（reinforcement learning）的训练负载保持均衡^[1]。强化学习要先生成回答，再据此更新模型；如果一批样本的回答长短差别很大，短的那几条生成完，硬件就开始空转，把生成切成块可以让各部分的活儿更均匀。

同一项工作还提出了 BitCPM，一种数据高效的三值（ternary）语言模型方法^[1]。三值模型把权重限制在三个取值上，而不是通常那一大组浮点数，因此更省存储和带宽；BitCPM 关心的是在不额外多要数据的前提下做到这一点。

推理系统

推理系统把稀疏注意力、模型量化（quantization）和投机采样（speculative sampling）结合起来加速预填充^[1]。量化用更低的精度存放权重，省内存也省带宽；投机采样先用一个便宜的草稿模型猜出若干词元，再让主模型一次性校验。加上稀疏注意力，这是作用在同一个阶段上的三个独立手段。

在发展中的位置

MiniCPM4 更像是在回答一个具体问题：当模型要跑在设备上时，难点在哪里。难的不只是能力本身，还有内存、延迟、数据和上下文长度这几项预算的联合分配。报告在注意力、数据、预训练搜索、后训练和推理各层都做了改动，而不是只靠某一个技巧；模型卡以 Apache-2.0 许可发布，也让他人能够直接运行和检查这些权重^[2]。