MiniMax 发布 abab 6.5 混合专家模型系列

背景

MiniMax 在成立一个月后的 2022 年 1 月开始研发工作^[1]。它的节奏很快：第一款文本模型 abab1 于 2022 年 4 月发布^[1]；abab2 在 2022 年 6 月完成训练，参数更多的 abab3 于 2022 年 10 月跟进^[1]。这条模型线一直沿用 abab 这个前缀。

2024 年初，模型的架构路线发生了变化。2024 年 1 月，MiniMax 发布 abab 6，Pandaily 称其为中国第一个混合专家（mixture-of-experts）大语言模型^[3]。在 abab 6.5 发布前一个月，也就是 2024 年 3 月，阿里巴巴领投了 MiniMax 一轮 6 亿美元融资，估值 25 亿美元^[1][2]。

发布内容

2024 年 4 月 17 日，MiniMax 发布 abab 6.5 系列，这是一个混合专家语言模型家族^[1]。Pandaily 报道说，它接在 abab 6 之后^[3]。

混合专家是一种架构思路，不是某一个具体产品。普通的稠密模型对每个 token 都要跑完整张网络；混合专家模型则把网络拆成许多并列的子网络，通常称为「专家」（expert），再加一个路由（routing）模块，由它决定每个 token 交给哪几个专家处理。因为一个 token 只经过网络的一小部分，单 token 的计算量就低于同样总参数量的稠密模型。这就是这套架构提供的交换：总参数规模可以往上堆，而单次推理的开销不必按同样比例上涨。代价是路由必须足够准，否则一部分专家等于闲置。

关键细节

Pandaily 给出了两个数字，用来说明这次发布想解决什么。

第一个是上下文长度。Pandaily 报道，abab 6.5 支持 20 万 token 的上下文长度^[3]。上下文长度指的是模型一次能读进多少内容，也就是单次请求的工作区。窗口越长，一份文档、一段对话或者一个代码仓库就能被整体放进视野，而不必切成碎片分批送进去。对摘要、检索、长文档问答这类任务来说，这是一个很实际的门槛。

第二个是检索测试。Pandaily 报道，abab 6.5 在「大海捞针」（needle-in-a-haystack）长上下文测试中 891 条查询全部答对^[3]。这项测试的做法，是把一条很短的信息藏在很长的一份文档里，然后让模型把它找出来。它测的范围很窄——只检查模型还能不能定位某个细节，并不检查模型能否对整份文档做推理——但它直接回答了另一个问题：这么长的窗口到底用不用得上。满分意味着那一轮测试里没有一条查询被漏掉。

为什么重要

abab 系列是闭源的专有模型：模型通过公司对外提供，而不是把权重发布出去让别人下载运行。这让 abab 既是一条研究线，也是一条产品线，每一代由公司决定放出去什么来定义。

这条线也标出了节奏。从 2022 年 4 月的 abab1 到 2024 年 4 月的 abab 6.5，MiniMax 走过了四代有名字的文本模型^[1]；转向混合专家发生在 2024 年初的 abab 6 上^[3]。

分发方式后来变了。2025 年 1 月，MiniMax 在 abab 之后推出开放权重的 MiniMax-01 系列^[1]，权重本身对外公布，那是另一种安排。对照这一步回看，abab 6.5 落在 MiniMax 语言模型闭源发布的最后一段时期，也是把长上下文和混合专家这两个说法带进那段时期的最后一个版本。