abab 6.5 大模型

是什么

abab 6.5 是中国 AI 公司 MiniMax 于 2024 年 4 月 17 日发布的一系列大语言模型，采用混合专家（mixture-of-experts, MoE）架构^[1]。它属于 MiniMax 的 abab 文本模型系列，权重未对外开放；直到 2025 年 1 月，公司才以开放权重的 MiniMax-01 系列作为后续^[1]。

系列是怎么走过来的

MiniMax 在成立一个月后的 2022 年 1 月启动研发^[1]。它的第一个文本模型 abab1 于 2022 年 4 月上线，abab2 于 2022 年 6 月完成训练，参数更多的 abab3 在 2022 年 10 月推出^[1]。同一时期，公司还发布了面向消费者的应用：2022 年 10 月的 Glow、2023 年 6 月的 Talkie 和 2023 年 9 月的 Xingye^[1]。

abab 6.5 的直接前代是 2024 年 1 月推出的 abab 6，Pandaily 称其为中国第一个混合专家大模型^[2]。据 Pandaily 报道，MiniMax 在 2024 年 4 月推出了 abab 6.5^[2]。

混合专家是什么意思

传统的大语言模型是「稠密」的：每处理一个词元，所有参数都要参与计算，因此模型越大，每一步的代价越高。混合专家模型把前馈层拆成许多彼此独立的「专家」子网络，再加一个路由步骤，让每个词元只被送往其中少数几个专家。这样，总参数量的增长可以远快于每个词元的计算量；代价是训练和部署更复杂——显存要装下所有专家，哪怕某一刻只用到一部分，路由本身也要学会一套可用的分工方式。abab 6.5 以混合专家家族的形式发布，说明它沿用了这套设计思路；它的前代 abab 6 也是以同样的架构被介绍的^[2]。

长上下文与大海捞针测试

据 Pandaily 报道，abab 6.5 支持 20 万个词元（token）的上下文长度^[2]。上下文长度指模型一次能「看到」的文本量，包括输入和它已经生成的内容，它决定了一篇长报告能不能一次读完、一段长对话能不能记住前文。词元是文本切分后的片段，大致相当于一个词或词的一部分；用词元数衡量窗口，等于衡量模型单次能处理多少原始文本。

Pandaily 还报道，在一项大海捞针（needle-in-a-haystack）长上下文测试中，abab 6.5 对 891 个问题全部答对^[2]。这类测试的做法是：把一句与主题无关的短句藏在长文档的某个位置，再让模型把它找出来；改变短句的位置、加长文档，就能检验模型的注意力是否真的覆盖到长输入的每个角落，而不是只看开头和结尾。891 个问题全对，说明在被测范围内检索是可靠的。

不过，检索只是长上下文能力的一部分。找到一句被埋进去的话，比通读整篇材料做推理要容易：比较不同段落、跟踪一条论证线索、发现材料里缺了什么，都是另一类任务，大海捞针测试本身并不能证明这些。

在系列中的位置

在 MiniMax 自己的时间线上，abab 6.5 是 2022 年 4 月 abab1 之后，经 abab2、abab3、abab 6 一路走来的又一步，再往后是 2025 年 1 月开放权重的 MiniMax-01 系列^[1]。同一家公司在这段时间里还持续做消费级产品 Glow、Talkie 和 Xingye，文本模型和应用是并行的两条线^[1]。