阶跃星辰开源 Step-Audio 语音模型

背景 阶跃星辰（StepFun）在视频和语音两个方向同时开展研发。语音交互指用语音与模型对话，并以语音作答。2025 年 2 月 17 日，公司将这部分成果向公众开放。

发生了什么 2025 年 2 月 17 日，阶跃星辰发布了 Step-Audio 技术报告，并开源了推理代码和模型权重^[1]。技术报告编号为 arXiv:2502.11946^[2]。

此次发布包括三个组件：1300 亿参数的 Step-Audio-Chat、Step-Audio-TTS-3B 和 Step-Audio-Tokenizer^[1]。Tokenizer 负责把语音转换为语言模型可以处理的序列；TTS（文本转语音）则把文字变成语音。

关键细节 模型支持中文、英文和日语，也支持粤语、四川话等方言，并可以控制情绪和歌唱风格^[1]。

阶跃星辰还发布了 StepEval-Audio-360 评测集，用于评估这些模型^[1]。

这次发布是与吉利汽车的联合开源，与 Step-Video-T2V 同时进行^[3]。

影响 这一事件使一款 1300 亿参数的语音模型，连同代码、权重和技术报告，在同一天向公众开放。

几个术语 语音模型有几种类型。语音识别模型把语音转成文字，文本转语音（TTS）模型把文字转成语音，语音交互模型则在一次对话中同时完成两者。本次发布中的 tokenizer 负责把音频转换为语言模型可以处理的离散标记。

开源发布意味着什么 开源发布让外部开发者可以下载代码和权重，在自己的硬件上运行模型，并核对报告中的结果。能否商用、如何使用，取决于许可证条款。本次发布中，代码采用 Apache 2.0 许可证，权重则在各仓库中有单独条款。