OpenAI 开源语音识别模型 Whisper

背景

把语音变成文字是机器学习里较早的目标之一。一套语音识别系统通常这样搭建：收集录音，人工转写成文字，再用这些「声音—文字」配对训练模型。这条路径的瓶颈在规模：人工转写既慢又贵，攒出来的数据集往往只覆盖少数几种语言，而且录音条件大多比较干净。

发布了什么

2022 年 9 月 21 日，OpenAI 以开源软件的形式发布了自动语音识别（automatic speech recognition，ASR）系统 Whisper ^[1]。发布采用 MIT 许可证，这是一种限制很少的许可，允许他人使用、修改和再分发 ^[1]。公开的不只是对系统的描述，还包括模型本身，这意味着外部开发者可以直接在自己的音频上运行它，而不必依赖某个在线服务。

它是怎么做出来的

Whisper 在 68 万小时带标注的音频上训练，其中很大一部分是多语种内容 ^[1]。这个数字正是设计思路的核心：与其费力凑一小批干净、精挑细选的录音，不如利用现成材料的数量和多样性。随后发表的论文也是这样描述的——模型被训练去做一件简单的事，即预测互联网上音频对应的转写文本 ^[3]。论文标题「Robust Speech Recognition via Large-Scale Weak Supervision」（大规模弱监督下的稳健语音识别）说的也是同一个意思：所谓「弱」，是指这些转写并非按统一标准人工整理；而「大规模」则是用来弥补这一点的。

除了转写，这套系统还能把语音翻译成英文，这一任务由 12.5 万小时的翻译训练数据支撑 ^[1]。也就是说，一种语言的音频可以直接变成英文文本，而不必先转写成原语言、再走一道翻译。

文字说明比软件来得晚。完整论文于 2022 年 12 月在 arXiv 上发表 ^[2]，由 Alec Radford、Jong Wook Kim、Tao Xu、Greg Brockman、Christine McLeavey 和 Ilya Sutskever 于 12 月 6 日提交 ^[3]。因此在最初的一段时间里，模型已经可以下载使用，而它是如何训练的，详细说明还没有公开。

为什么重要

这次发布有三个特点叠在一起。第一是许可证：MIT 条款对再利用几乎没有限制，对于一个可能被别的产品和研究项目拿去当零件的组件来说，这一点很关键 ^[1]。第二是语言覆盖：训练数据以多语种为主，目标是用一个模型应付多种语言，而不是一种语言一个模型 ^[1]。第三是第二项任务：语音到英文的翻译与转写一起被训练 ^[1]。

最能说明问题的是规模数字。68 万小时带标注音频远远超出一个团队手工转写的能力，12.5 小时翻译数据……「12.5 万小时」的翻译数据则是同一思路在翻译任务上的延伸 ^[1]。这套做法想验证的是：一个通用模型，只要喂进足够多、足够杂、标注并不完美的音频，就能应付陌生的说话人、背景噪声和不同语言，而不需要为每种场景单独调优——稳健性来自数据的广度，而不是针对某个测试集做的精雕细琢。

在时间线上的位置

Whisper 更适合被理解成一件可下载的开源产物，而不是一次服务发布：先交出训练好的语音模型和许可证，几周之后才补上完整的技术说明 ^[1][2]。对实验室之外的人来说，正是这个组合——既能转写、又能翻译成英文，还可以在宽松的许可下查看和复用——让这次发布值得记住。