帕特里克·埃瑟

概况

帕特里克·埃瑟（Patrick Esser）是研究图像与视频生成模型的研究者。他的公开论文大致沿着一条线展开：成为 Stable Diffusion 基础的潜在扩散论文、Runway Gen-1 背后的视频生成论文，以及 Stable Diffusion 3 所用的整流流 Transformer 论文。2024 年，他与他人共同创办了图像模型公司 Black Forest Labs。^[1][4]

潜在扩散论文

《High-Resolution Image Synthesis with Latent Diffusion Models》于 2021 年 12 月 20 日提交到 arXiv，并在 CVPR 2022 被接收。^[5] 埃瑟是该论文的第四作者，排在 Robin Rombach、Andreas Blattmann 和 Dominik Lorenz 之后。^[5] 这篇论文是 Stable Diffusion 的基础。^[1]

它提出的方法通常被称为潜在扩散（latent diffusion）。扩散模型（diffusion model）生成图像的思路是：从随机噪声出发，一步一步去噪，最终得到图像。若直接在高分辨率像素上做这件事，代价很高，因为每一个去噪步骤都要处理全部像素。潜在扩散改用自编码器（autoencoder）把图像压缩成一个维度小得多的表示，也就是「潜在」，再在这个压缩后的空间里完成去噪，最后解码回像素。由于潜在表示远小于原图，每一步去噪的计算量都小得多。

视频生成

2023 年 2 月 6 日，题为《Structure and Content-Guided Video Synthesis with Diffusion Models》的论文出现在 arXiv 上，埃瑟是第一作者。^[2] 这篇论文是 Runway 的 Gen-1 背后的工作，Runway 联合创始人 Anastasis Germanidis 也是共同作者之一。^[2] 标题点明了核心设计：生成过程由两种引导共同控制，一种描述视频的结构，一种描述它的内容，从而让模型按照给定的安排生成，而不是只凭一段文字自由发挥。

Stable Diffusion 3

2024 年 3 月 5 日，埃瑟作为第一作者发表了《Scaling Rectified Flow Transformers for High-Resolution Image Synthesis》，即 Stable Diffusion 3 背后的论文。^[3] 整流流（rectified flow）是一种描述生成过程的方式：经典扩散模型的轨迹是弯曲而嘈杂的，整流流则让模型学习沿着噪声与数据之间的路径搬运样本，而「整流」的意思是让这些路径更接近直线，原则上更容易用更少的步数完成采样。论文把这一方法与 Transformer 主干结合，因此称作整流流 Transformer，并考察了它在高分辨率图像合成上的扩展表现。^[3]

Black Forest Labs

2024 年，埃瑟与 Robin Rombach、Andreas Blattmann 共同创办了 Black Forest Labs。^[4] 2024 年 8 月 1 日，该公司宣布成立，同时公布了一轮由 Andreessen Horowitz 领投的 3100 万美元种子轮融资。^[6]

在扩散模型这条线上

这些论文与这家公司构成一条相当连贯的线索。同一小群研究者出现在潜在扩散论文上——Rombach、Blattmann 与埃瑟——其中两人后来与埃瑟一起创办了 Black Forest Labs。^[5][4] 埃瑟在这个群体中的位置也随时间变化：在潜在扩散论文上是第四作者，随后成为视频生成论文和 Stable Diffusion 3 论文的第一作者。^[5][2][3] 把三篇论文连起来看，可以看到同一个研究方向从压缩潜在空间中的图像合成，走向视频，再走向整流流 Transformer。