Step-2 万亿参数语言大模型

是什么

Step-2 是一个参数规模达到万亿的语言模型，采用混合专家（Mixture-of-Experts，MoE）架构 ^[1]。这个区别值得说清楚：稠密模型处理每个词元都要动用全部参数，计算成本随网络总规模一起上涨；混合专家模型则把网络拆成许多子网络，由路由机制为每个词元只激活其中少数几个。总参数量因此可以很大，而单个词元的计算量远低于同等规模的稠密模型，万亿级模型能被实际训练和提供服务，靠的就是这一点。

由来

2024 年 3 月 23 日，阶跃星辰公布了 Step-2 的预览版，向部分合作伙伴开放 API 试用 ^[1]。它是在 Step-1 之后有意往上走的一步。姜大昕（Jiang Daxin）表示，之所以在 Step-1 之后做 Step-2，是因为参数规模决定了模型智能的上限；而要把参数推到万亿，需要同时在算力、系统、数据和算法上取得进展 ^[1]。从 3 月亮相到万亿参数规模落地，间隔很短：阶跃星辰称用了约 100 天 ^[2]。

正式发布

正式版于 2024 年 7 月 5 日在世界人工智能大会（WAIC）上发布 ^[2]，与 Step-1.5V、Step-1X 一同亮相 ^[4]。同一时间发布的 Step-1.5V 借助 Step-2 强化了自身的推理能力 ^[2]，这说明这个大模型在设计上是要垫在同门模型下面当底座的，而不是孤立的一个产品。企业和开发者可以通过阶跃星辰开放平台申请接入 ^[2]。

官方说法与性能

阶跃星辰表示，其系统能力大幅提升了训练效率 ^[2]。这既是关于模型的说法，也是关于模型周边工程的说法——在这个量级上训练，瓶颈往往在于硬件、数据管线和并行策略组织得好不好。公司还称，Step-2 在数学、逻辑、编程、知识、创意写作和多轮对话这几个方面接近 GPT-4 ^[2]。值得注意的是，WAIC 发布时并没有给出 Step-2 的基准测试分数，公司的表述是这些方面的体验接近 GPT-4 ^[2]。

后来的评测

2024 年 11 月，在 LiveBench 上，Step-2 在中文基座模型中排名第一，位列 OpenAI o1 和 Claude 之后 ^[3]。LiveBench 的题目会定期更新，所以这类名次更像一张当时的快照，而不是长期评级。

为什么重要

万亿参数首先是一个规模标记。这个体量的模型通常位于一家公司产品序列的顶端，训练成本最高，也常常是更小的或专用模型汲取能力的来源——Step-1.5V 用它强化推理就是一例 ^[2]。阶跃星辰给出的做这件事的理由是：参数规模框住了模型能力的上限，而要达到这个规模，靠的不是某一项单独的要素，而是算力、系统、数据和算法多方面的共同推进 ^[1]。从 3 月的预览到万亿参数规模，中间约 100 天 ^[2]，也在一定程度上反映了当时这个领域的节奏：一个预览版和一个完成版之间可能只隔一个季度。

把模型通过开放平台开放给企业和开发者申请接入 ^[2]，则把它放进了大语言模型常见的商业路径里：最大的模型是展示窗口，围绕它的接入和使用构成业务。