面壁智能发布端侧模型 MiniCPM4

背景

端侧设备指的是手机、笔记本、车机这类直接放在用户身边的硬件。把语言模型放到这类设备上运行，和数据中心的部署是两件不同的事。内存带宽、电池容量和散热决定了每秒能读出多少参数，用户也不愿意为了一次回答去等一轮网络往返。在这种场景里，有三种技术反复出现。稀疏注意力（sparse attention）让模型只看长上下文里被选中的一小部分，而不是每一个先前的词元（token）。量化（quantization）用更低的精度存放权重和激活值，让内存里搬运的比特数变少。投机采样（speculative sampling）先用一个便宜的草稿模型提出若干候选词元，再由大模型一次性校验。三者都是拿一点质量去换计算和内存的大幅节省。

发布了什么

2025年6月9日，MiniCPM 团队发布 MiniCPM4 及配套的技术报告，报告题为 MiniCPM4: Ultra-Efficient LLMs on End Devices ^[1]。这个模型是为端侧设备而做的，而不是为服务器部署设计的 ^[1]。权重随后以 Apache-2.0 协议发布在 Hugging Face 上，MiniCPM4-8B 的模型卡创建于 2025年6月5日，比技术报告早几天 ^[2]。Apache-2.0 是宽松的开源协议，允许商用、修改和再分发，只需保留声明，这对想把模型装进产品的人来说很关键。

训练数据

团队把模型在 8 万亿（8 trillion）训练词元上达到的满意表现，归功于 UltraClean 和 UltraChat v2 两个数据集 ^[1]。这里的看点在规模：在万亿级词元上训练代价很高，而其中相当一部分可能被重复、嘈杂或过滤不当的文本白白消耗掉。把数据清洗当作配方里的一等环节，而不是预处理阶段的琐事，是让小模型把读到的内容用得更好的办法之一。

推理栈

这次发布引入了 InfLLM v2 稀疏注意力机制 ^[1]，也引入了 BitCPM 三值量化方法 ^[1]。三值量化把权重压到三个取值档位，这既减少了存放模型所需的内存，也减少了读取模型所需的带宽。除了这些单独组件，团队还描述了一套推理系统，把稀疏注意力、量化和投机采样组合在同一个栈里 ^[1]。三种技术针对的是不同瓶颈：长上下文上注意力的计算量、权重占用的内存、以及逐词元生成本身的串行性。能否把它们配合起来，决定了模型在小设备上是否真的跑得动。

影响

由于权重以 Apache-2.0 公开 ^[2]，其他团队可以检查这个模型、复现评测、针对自己的语言或任务做微调，并把它装进产品里。其中的组件也可以单独使用：稀疏注意力、三值量化和投机采样在报告里都有描述，能被别的项目拿去用 ^[1]。对「语言模型究竟跑在哪里」这个问题来说，MiniCPM4 是一个例子，说明能力不错的模型未必只能待在数据中心；而它在训练和推理上的这些选择，是别的团队可以拿来细看和复用的部分。