Step-Audio 语音模型

是什么 Step-Audio 是阶跃星辰（StepFun）开源的一组语音交互模型。语音交互指用语音与模型对话：模型既要听懂语音输入，也要输出语音。2025 年 2 月 17 日的发布包括三个组件：1300 亿参数的 Step-Audio-Chat、Step-Audio-TTS-3B 和 Step-Audio-Tokenizer^[1]。

由来 阶跃星辰于 2025 年 2 月 17 日发布了 Step-Audio 技术报告，同时公开了推理代码和模型权重。技术报告编号为 arXiv:2502.11946^[2]。这次发布是与吉利汽车的联合开源，同期还有 Step-Video-T2V^[3]。

主要特点 模型支持中文、英文和日语，也支持粤语、四川话等方言。它可以控制愤怒、喜悦、悲伤等情绪，并能模仿说唱和歌唱等声音风格^[1]。模型还支持声音克隆，即用某个特定人的声音生成语音；也支持工具调用的智能体功能，让模型在对话中调用外部功能^[1]。

对硬件的要求较高。Step-Audio-Chat 至少需要 265GB 的 GPU 显存，阶跃星辰推荐使用四块 80GB 的 A800 或 H800 显卡^[1]。

Step-Audio-TTS-3B 在 SEED 中文测试集（test-zh）上的字错误率为 1.31，在英文测试集（test-en）上的词错误率为 2.31^[1]。字错误率和词错误率衡量转写文本与参考文本的差异，数值越低越好。

阶跃星辰的 StepEval-Audio-360 评测由 GPT-4o 打分。在该评测中，Step-Audio-Chat 的对话得分为 4.11，而 GLM4-Voice 为 3.49，Qwen2-Audio 为 2.27^[1]。这些是阶跃星辰在自有评测集上的结果。

许可与状态 代码采用 Apache 2.0 许可证。模型权重在 Hugging Face 仓库中以单独的条款发布^[1]。

该代码仓库已不再维护。阶跃星辰建议用户改用 Step-Audio 2、Step-Audio-R1 和 Step-Audio-EditX^[1]。

在发展中的位置 Step-Audio 是阶跃星辰最早开放的语音模型之一。它的技术报告和评测结果显示了公司对语音和对话的重视，此后公司以更新的项目取代了这一开源仓库。