Stability AI 发布 Stable Audio 2.0

背景

Stability AI 是一家开发生成式 AI 模型的公司。Stable Audio 是该公司用于声音与音乐生成的模型系列。2024年4月3日，公司发布了 Stable Audio 2.0^[1]，本条目记录的就是这一版本。

发生了什么

Stable Audio 2.0 于2024年4月3日发布^[1]。它可以生成最长三分钟的曲目，采样率为 44.1 kHz 立体声^[1]。采样率是每秒采集声音样本的次数。44.1 kHz 也是 CD 音质采用的采样率，因此输出达到了人们熟悉的音乐音质水平。

发布时，该模型可以在 Stable Audio 网站上免费使用，应用程序接口（API）的接入则在之后推出^[1]。应用程序接口（API）让其他软件可以向模型发送请求并取得结果，开发者由此可以把模型接入自己的产品。

关键细节

此次发布新增了音频到音频（audio-to-audio）功能。用户可以上传自己的音频片段，再用文字提示对其进行改造，已有的录音由此成为新作品的起点^[1]。

在技术方面，Stable Audio 2.0 用扩散 Transformer（diffusion transformer）取代了早先的 U-Net^[1]。扩散模型从随机噪声出发，逐步去除噪声，直到结果符合提示词。U-Net 是一种形如字母 U 的神经网络结构，Transformer 则是一种让输入的各部分彼此关联的架构。模型还使用了高度压缩的自编码器（autoencoder）^[1]。自编码器把数据转换成更小的内部表示再还原，压缩之后，生成步骤处理的数据量大幅减少。

训练数据为超过 80 万个来自 AudioSparx 的授权文件，其中的艺术家可以选择退出训练数据集^[1]。退出意味着艺术家可以要求自己的作品不被用于训练。

影响

Stable Audio 2.0 是 Stable Audio 系列中一个有日期的节点。它能生成最长三分钟的曲目，可以用文字提示编辑用户音频，训练数据为授权文件^[1]。读者在与本档案库中的后续版本对比时，可以把这几点作为2024年这一版本的参照。