Stability AI 推出 Stable Audio

背景

让机器按文字描述生成声音，是生成式模型在文本和图像之后进入的另一个方向。音频的难点在于它沿时间展开：一段曲子在时间上连续、长度可变，生成结果既要在内容上符合描述，也要在结构上像一段完整的音乐或一个连贯的音效。Stable Audio 是 Stability AI 面向这一方向推出的产品，于 2023 年 9 月 13 日发布^[1][2]。

产品形态

Stable Audio 通过网页界面提供，访问地址为 www.stableaudio.com^[3]。用户在页面上写下描述性的文字提示，并指定想要的音频长度，模型据此生成曲目^[3]。

发布时产品分为免费版和 Pro 订阅两档。免费版可以生成并下载最长 45 秒的曲目^[1]，Pro 订阅提供 90 秒的曲目，并可下载用于商业项目^[1]；另一份报道对免费额度的说法是 20 秒的曲目，Pro 用户最长 90 秒^[2]。

Stability AI 在发布时称，Stable Audio 是第一个用潜在扩散（latent diffusion）生成 44.1 kHz 音乐、可供商业使用的工具^[1]。44.1 kHz 指音频的采样率，即每秒对声音采样 44100 次，是音乐录制与发行中常见的规格。

怎么做到的

模型用的是潜在扩散架构。扩散模型的基本思路是先学会把加过噪声的数据一步步还原干净，训练完成后，就能从纯噪声出发，逐步去噪出一段声音。潜在扩散把这一过程放在压缩后的表示空间里进行，而不是直接作用在原始音频波形上，计算量因此小得多，最后再解码回音频。

在 Stable Audio 里，条件不只有文字。按发布方的说明，模型以音频为生成对象，条件既包括文本元数据，也包括音频文件的时长和起始时间，因此生成内容与长度都可以控制^[3]。这也解释了产品界面为什么要用户同时给出描述和时长。

训练数据方面，Stability AI 与音乐库 AudioSparx 合作，用授权内容训练模型^[2]。这一点对音乐生成产品尤其关键：训练素材的权利状态，直接决定了生成结果能不能被用于商业项目。

位置与影响

Stability AI 首席执行官 Emad Mostaque 在发布时表示，Stable Audio 会让音乐爱好者和创意工作者借助 AI 生成新内容^[3]。

从产品形态看，Stable Audio 把文字生成音频做成了一个打开浏览器就能用的网页工具，并用免费额度加订阅的方式分发：免费用户拿到的是短片段，付费用户拿到更长的曲目和商业使用许可^[1][2]。训练数据来自授权内容这一点，也被放在产品说明之中^[2]，使用户对素材的权利状态有相对清楚的预期——对于想把生成结果放进商业项目的用户，这是重要的信息。