Whisper（语音识别模型）

是什么

Whisper 是 OpenAI 开发的自动语音识别（automatic speech recognition, ASR）系统，2022 年 9 月 21 日以 MIT 许可证开源发布^[1]。它输入音频、输出文字：既能按说话人所用的语言转写，也能把语音翻译成英文。

怎么工作

模型是编码器—解码器结构的 Transformer。音频先重采样到 16,000 Hz，再转换成 80 通道的对数幅度梅尔频谱（log-magnitude Mel spectrogram），编码器读取这种类似图像的表示，解码器据此生成文字^[1]。结构本身是中规中矩的，特别之处在于监督数据的规模和构成：训练使用 68 万小时带标注的音频—转写文本对，其中 11.7 万小时覆盖 96 种非英语语言，12.5 万小时是翻译成英文的数据^[1]。

这种数据配比决定了它的用法。Whisper 不是为每种语言、每个任务各训练一个系统，而是把多语言、多任务放在一起，让一个模型同时学会转写、处理语种和翻译。

论文

这项工作写在论文《Robust Speech Recognition via Large-Scale Weak Supervision》里，论文时间为 2022 年 12 月，第一作者是 Alec Radford^[2][3]。论文报告把训练扩展到 68 万小时的多语言、多任务监督数据^[6]。它的核心结论关于泛化：所得模型在零样本迁移（zero-shot transfer）下常常达到此前全监督方法的效果，不需要任何微调，并且在准确率和鲁棒性上接近人类水平^[6]。也就是说，一个在规模庞大、标注并不精细的音频上训练出来的模型，可以直接用到新的数据集和新的场景上，而不必针对每个场景重新训练。OpenAI 把模型和推理代码一并发布，作为后续鲁棒语音处理研究的基础^[6]。

版本与更新

模型权重此后多次更新：large-v2 于 2022 年 12 月 8 日发布，large-v3 于 2023 年 11 月在 OpenAI 的 DevDay 上发布，Whisper Large v3 Turbo 于 2024 年 9 月 30 日发布^[1][5]。除了开放权重，OpenAI 也提供托管服务：用于转写和翻译的 Whisper API 于 2023 年 3 月 1 日上线^[1]。2025 年 3 月，OpenAI 发布了基于 GPT-4o 和 GPT-4o mini 的转写模型，错误率低于 Whisper^[1]；2026 年 8 月 26 日，OpenAI 宣布 whisper-1 API 模型将于 2027 年 2 月 26 日停用^[4]。

在发展中的位置

Whisper 的位置是由两件事共同决定的。一方面，模型和推理代码以宽松许可证公开发布，别人可以在本地运行，并在此基础上继续做工作^[1][6]。另一方面，同样的能力又以 API 的形式提供，使用者不必自己跑模型就能调用转写和翻译^[1]。

后来的走向把这条分岔显示得很清楚：开放权重一线经过 large-v2、large-v3 到 v3 Turbo 继续演进，托管服务一线则转向基于 GPT-4o 的转写模型，最初的 whisper-1 接口被安排停用^[1][4][5]。因此 Whisper 既是可长期复用的开源模型系列，也是随后一系列语音功能起步的地方。