德克·金马（Durk Kingma）

概况

德克·金马（Durk Kingma）是机器学习研究者。深度学习工具箱里有两样被反复使用的东西与他的名字连在一起：一是变分自编码器（variational autoencoder, VAE），一类生成模型；二是 Adam，一种训练神经网络时使用的优化方法。他的职业经历横跨这一领域的多个主要研究机构——纽约大学 Yann LeCun 的实验室、OpenAI、Google Brain / DeepMind 以及 Anthropic ^[1]。

教育与早期研究

金马 2013 年至 2017 年在阿姆斯特丹大学（University of Amsterdam）获得博士学位（cum laude，优等），导师为 Max Welling，博士论文题为《Variational Inference and Deep Learning: A New Synthesis》^[1]。他还曾在纽约大学 Yann LeCun 的实验室担任初级研究科学家（junior research scientist），他的个人网站把这段经历列在 2009 年和 2012 年 ^[1]。

变分自编码器

生成模型的目标是学到数据本身的结构，从而能从学到的分布中采样出新的样本。一种做法是引入一小组未观察到的变量，也就是潜表示（latent representation），再学习这组变量到数据的映射，以及数据回到变量的映射。直接这样做会遇到无法精确计算的积分。金马与 Max Welling 合作的论文《Auto-Encoding Variational Bayes》于 2013 年 12 月 20 日提交到 arXiv，提出通过优化数据似然的一个可计算下界来训练这类模型，两个方向的映射都用神经网络实现 ^[3]。他的个人网站把变分自编码器列为自己的一项贡献 ^[1]。

Adam 优化算法

训练神经网络，就是不断调整参数以减小某个误差指标，通常沿着损失函数的梯度方向走。最朴素的随机梯度下降对所有参数使用同一个步长。金马与 Jimmy Ba 合作的《Adam: A Method for Stochastic Optimization》于 2014 年 12 月 22 日提交到 arXiv，改为维护梯度一阶矩和二阶矩的滑动估计，并用它们为每个参数单独确定有效步长 ^[2]。步长按参数自适应之后，同一个优化器就能用在参数量级差异很大的问题上，训练对学习率的选择也不那么敏感。

任职经历

金马是 OpenAI 创始团队成员之一，2015 年至 2018 年在旧金山担任研究科学家，领导算法团队（Algorithms team）^[1]。2018 年至 2024 年，他在 Google Brain / DeepMind 任研究科学家，主持文本、图像和视频生成模型方面的项目 ^[1]。2024 年起，他在 Anthropic 研究大规模机器学习 ^[1]。

其他工作与荣誉

除变分自编码器和 Adam 之外，他的个人网站还把 Glow 和 Variational Diffusion Models 列为自己的贡献 ^[1]。网站列出的奖项包括 2015 年 Google 欧洲深度学习博士奖学金（Google European Doctoral Fellowship in Deep Learning）、2019 年 ELLIS 博士论文奖和 2019 年荷兰数据科学奖（Dutch Datascience Award）^[1]。变分自编码器论文获得 ICLR 2024 时间检验奖（Test of Time Award），Adam 论文与 Jimmy Ba 一起获得 ICLR 2025 时间检验奖 ^[1]。这两条线索——能生成文本、图像和视频的生成模型，以及让大规模训练得以运转的优化方法——也贯穿了他此后担任的各个职位。