神经常微分方程

一叠层，还是一条曲线

多数深度网络由一层层离散的层堆叠而成：输入先过第一层，再过第二层，如此往下；层数在设计结构时就已定死。2018 年 6 月 19 日首次提交到 arXiv 的论文《神经常微分方程》（Neural Ordinary Differential Equations），作者是 Ricky T. Q. Chen、Yulia Rubanova、Jesse Bettencourt 和 David Duvenaud，问的正是：如果把这串离散的层换成某种连续的东西，会发生什么^[1]。

论文提出的做法

关键的一步在于改变网络被要求输出的东西。作者不再指定一串离散的隐藏层，而是用一个神经网络来参数化隐藏状态的导数^[1]。常微分方程描述的是一个量如何随时间变化；给定起点，解这个方程就能知道它最终走到哪里。在这里，神经网络扮演的就是那条「变化规律」：在隐藏状态的任意一点，它给出状态应当如何移动；而模型的输出由一个黑箱微分方程求解器算出，求解器把这条导数从输入一路积分到结果^[1]。换句话说，深度变成了连续变量——问的不再是「堆多少层」，而是「积分多远」。

论文强调了这种写法带来的三个性质：模型具有常数级的内存开销，会针对每个输入调整自己的计算策略，并且可以用数值精度换速度^[1]。内存这一点说的是模型运行时要随身携带的东西：离散的层堆叠需要保存每一层的中间激活值，而求解器在积分过程中不必让这份记录随步数增长。自适应性说的是步长：在变化剧烈的地方求解器走小步，在平缓的地方走大步，于是不同的输入得到不同量的计算。精度那一点则相当于求解器上的旋钮——容差放宽松，答案来得快而粗糙；容差收紧，答案来得慢而准确。

作者演示了什么

作者在连续深度的残差网络和连续时间的隐变量模型上展示了上述性质^[1]。他们还构造了连续的正则化流（continuous normalising flows），这是一种生成模型，按最大似然训练，而不需要对数据维度做划分或排序^[1]。最后这一点之所以重要，是因为正则化流需要跟踪模型如何扭曲概率密度，而通常让这项计算保持可行的办法，是对数据各维度如何切分、如何依次处理施加结构上的限制；这篇论文写下的连续形式绕开了这一要求。

如何穿过求解器训练

建立在微分方程上的模型只有在能训练时才真正有用，而明显的障碍在于：求解器横在参数和损失之间。作者给出了办法，可以在不接触任何常微分方程求解器内部运算的前提下，可扩展地穿过求解器做反向传播^[1]。这样一来，求解器可以被当作黑箱使用：训练时既不需要逐步记录求解器做了什么，方法也不会被绑死在某一个特定求解器上。

为什么重要

这篇论文的贡献既在实用层面，也在概念层面。它重新划定了深度学习与微分方程数值研究之间的边界，使积分、步长、容差这些概念成为描述和运行一个网络的一部分。它为一个问题给出了具体答案：如果深度不以整层来计数，「很深的模型」究竟意味着什么；而且它在给出答案的同时，也给出了训练它的方法。论文所标榜的三个性质——常数内存、随输入而变的计算量、精度与速度之间的旋钮——指向的是一组与固定层堆叠不同的取舍。文中勾勒的连续正则化流，则打开了一条通往生成模型的路：其训练目标是朴素的极大似然，而无须为此附加种种结构上的扭曲^[1]。后续工作接过了「连续深度」这一框架，也接过了把求解器放进模型内部的做法，使这篇论文成为一类模型的参照点——这些模型的计算由微分方程定义，而不是由一串层的清单定义。