Step-Audio 2 语音模型

是什么

Step-Audio 2 是中国 AI 公司阶跃星辰（StepFun）推出的语音模型。它处理声音的方式有两种：一是理解音频输入里包含的内容，二是参与语音对话。项目把它描述为端到端（end-to-end）的音频理解与语音对话模型。「端到端」的意思是由一个模型完成整个任务，接收语音并直接给出回应，而不是把几个各管一步的程序串起来。^[1]

由来

Step-Audio 2 是在早期模型 Step-Audio 的基础上发展而来的。Step-Audio 的代码仓库现在会引导用户前往 Step-Audio 2。^[3] 它的技术报告介绍了模型的设计和结果，发布在开放预印本平台 arXiv 上，编号为 2507.16632。^[2]

主要特点

模型同时处理几类信息：语义信息，即话语的意思；副语言信息（paralinguistic information），即说话的方式，例如语气和语速；以及非语音信息，即不是人声的声音。仅凭声音，它还能推断说话人的年龄和情绪。^[1]

它支持工具调用（tool calling），即模型可以决定调用外部程序（例如查询信息的程序），再把结果用在回答里。它也支持多模态检索增强生成（retrieval-augmented generation，RAG）。在这种系统中，模型回答之前会先从外部资料中检索相关内容，而 Step-Audio 2 检索的资料可以包括语音。项目给出的一个例子是：根据检索到的语音切换音色。^[1]

版本与开源

Step-Audio 2 有多个版本。mini 版和 mini Base 版于 2025 年 8 月 29 日开源。推理版 Step-Audio 2 mini Think 于 2025 年 9 月 15 日推出，推理模型会在给出答案前逐步分析问题。^[1]

开源的 mini 模型和代码按 Apache 2.0 许可证发布。这是一种宽松的开源许可证，允许使用、修改和再分发，包括用于商业目的，但需要保留许可声明。^[1]

公开成绩

项目公布了几项基准测试（benchmark）的成绩。基准测试是一套标准化的题目，便于在相同问题上比较不同模型。以下数字均为项目公布的结果：

• URO-Bench 语音对话（基础级，语音到语音）：Step-Audio 2 中文得分 83.32，英文得分 83.90。^[1]
• MMAU 音频理解：Step-Audio 2 平均 78.0 分，mini 版平均 73.2 分。^[1]
• 语音识别：英文平均词错误率（word error rate，WER）为 3.14%，中文平均字错误率（character error rate，CER）为 3.08%。两者都衡量转写文本与正确文本的差距，数值越低越好。^[1]
• Big Bench Audio（一组基于音频的题目）：Step-Audio 2 mini Think 得 90.7 分，Step-Audio 2 得 80.0 分。^[1]

意义

Step-Audio 2 展示了一个模型可以同时承担音频理解和语音对话，并把工具调用和检索能力放在同一系统中。由于 mini 模型和代码是公开的，研究者和开发者可以下载它们，亲自观察系统的表现，而不只是阅读别人的描述。^[1]

局限

上面的成绩来自项目自己在特定基准上的测试。基准成绩并不能说明模型在所有真实场景中的表现，例如嘈杂环境或音质较差的通话，这些场景需要单独检验。每个基准也只衡量模型能力的一部分，因此不宜把某一项分数当作模型的全部能力。