于尔根·施密德胡伯（Jürgen Schmidhuber）

概况

于尔根·施密德胡伯（Jürgen Schmidhuber）是德国计算机科学家，1963年1月17日出生于慕尼黑。^[2] 他与长短期记忆网络（long short-term memory，LSTM）的关系最为密切。LSTM是一种用于学习序列数据的循环神经网络。自1995年起，他领导位于卢加诺的瑞士人工智能实验室IDSIA。^[2]

教育与早期研究

施密德胡伯在慕尼黑工业大学（Technical University of Munich）学习计算机科学，1987年获得文凭（diploma），1991年获得博士学位，1993年完成任教资格（habilitation）。^[2] 在德语国家，任教资格通常是申请教授职位前的一项学术资历。

1990年和1991年，他的研究包括对抗式的「人工好奇心」（artificial curiosity）网络，以及通过自监督学习（self-supervised learning）预训练的循环网络层级结构。自监督学习指的是直接利用数据本身的结构训练模型，而不依赖人工标注。^[1]

主要贡献

1997年，他与霍赫赖特在《神经计算》（Neural Computation）上发表了论文《Long Short-Term Memory》，该工作在IDSIA完成。^[3] 这一设计使用由门控制的记忆单元，使信息能在长序列中被保留，训练信号也不会轻易消失。

2000年，他与 Felix Gers 和 Fred Cummins 一起加入了遗忘门（forget gate），这已成为标准LSTM的组成部分。遗忘门让记忆单元可以清除不再需要的信息，使它在序列继续推进时能够重复使用。^[4]

2006年，他与 Alex Graves 共同提出了联结主义时序分类（connectionist temporal classification，CTC）。CTC让网络能把一段较长的输入（如音频或手写轨迹）映射为较短的标签序列，而不必由人工把每个标签对齐到输入的固定位置。他的团队采用CTC训练的LSTM，在2009年成为第一个赢得国际模式识别竞赛的循环网络。^[1]

2015年5月，他与 Rupesh Kumar Srivastava 和 Klaus Greff 发表了高速公路网络（Highway Networks）。它借助门控单元，使数百层深的网络也能用随机梯度下降训练，而这一类方法同样用于训练LSTM。^[5]

任职经历

施密德胡伯于2004年至2009年在慕尼黑工业大学任教，并领导其认知机器人实验室（Cog Bot Lab）。他目前是卢加诺的瑞士意大利语大学（Università della Svizzera italiana，USI）人工智能教授。^[2] 自2021年起，他担任沙特阿拉伯阿卜杜拉国王科技大学（KAUST）人工智能计划的负责人。2014年，他共同创办了NNAISENSE公司。^[2]

奖项与争议

他的奖项包括国际神经网络学会的赫姆霍兹奖（Helmholtz Award，2013年）和IEEE计算智能学会的神经网络先驱奖（2016年）。^[2]

施密德胡伯曾公开表示，与2018年图灵奖获得者相比，他自己及其他研究者的贡献未得到充分认可。他还发表过许多关于优先权（priority）的争议记述，这些争议关注的是谁最先提出了某些想法。上述主张属于学界关于成果归属的讨论，本文只作陈述，不作裁断。^[2]

影响

施密德胡伯最广为人知的贡献包括LSTM、门控网络和CTC。这些思路至今仍广泛用于序列学习，包括语音识别和手写识别。