慕尼黑工业大学

这是一所什么学校

慕尼黑工业大学（Technical University of Munich）是位于德国巴伐利亚州慕尼黑的公立技术大学，1868年4月12日由国王路德维希二世以「慕尼黑工业学校」（Polytechnische Schule München）之名创办^[1]。学校主页把自己称为「创业型大学」（The Entrepreneurial University），并提到全校有1万名员工^[5]。

主页列出七所学院：计算、信息与技术；工程与设计；自然科学；生命科学；医学与健康；管理；社会科学与技术^[5]。同一页面还列出六个研究目标，其中包括「数字化、人工智能与量子技术」和「生命的基础」^[5]。在学院之外，它的综合性研究中心包括慕尼黑数据科学研究所和慕尼黑机器人与机器智能学院^[1]。与产业界的联系是这所学校自我描述的一部分：主页把27家企业和机构列为「卓越伙伴」（Partners of Excellence），其中包括空客、宝马、西门子和 SAP^[5]。

计算机科学如何长出来

计算机科学一开始并不是独立的系。从1967年起，它在数学系内讲授，直到1992年才成为独立的 informatics 系（Department of Informatics）^[1]。这个时间点对该校后来在机器学习领域的名声很重要：与这所学校联系最紧的那项工作，正是在计算机科学还归在数学系里的那些年完成的。

两个与序列学习有关的名字

Sepp Hochreiter 1991年在慕尼黑工业大学的学位论文，分析了用梯度下降训练循环网络时误差信号为何会消失或爆炸，其中包含最早的 LSTM 结果；他1999年在同一所学校、在 Wilfried Brauer 指导下完成博士论文^[2]。

这篇论文处理的问题可以用平实的语言说明。循环网络处理序列的办法，是把每一步的信息再送回下一步；它靠梯度下降学习，也就是沿着让误差变小的方向一点点调整参数。当这样一个网络在时间上展开很多步之后，需要往回传的误差信号可能缩到几乎为零，也可能一路上涨、失去控制。信号缩小时，序列靠前的部分几乎得不到学习信号；信号膨胀时，训练就变得不稳定。由这项工作发展出的 LSTM 结构，引入了一个带门的记忆单元，由门控制什么写进单元、什么保留下来、什么读出去，于是信息可以跨越很多步被携带，而不是一路衰减。

1997年发表在《Neural Computation》上的论文《Long Short-Term Memory》，作者署名中 Hochreiter 属于慕尼黑工业大学（Technische Universität München），Jürgen Schmidhuber 属于 IDSIA^[3]。

Schmidhuber 与这所学校的渊源很长。他在慕尼黑工业大学学习计算机科学，1987年获学位文凭，1991年获博士学位，1993年完成教授资格论文（habilitation）^[4]。2004年至2009年间他在该校任教，并领导 Cog Bot Lab^[4]。

在领域中的位置

一所19世纪的工业学校与现代序列模型之间的联系是具体的，而不是修辞上的：提出长短期记忆的那篇论文，作者单位里就有慕尼黑工业大学^[3]，而两位作者又都以学生或教员的身份经过这同一所学校^[2][4]。对于关心 AI 研究如何在不同机构之间扩散的读者，慕尼黑工业大学是一个有用的例子——一所欧洲技术大学，它的计算机系从数学里长出来，而一篇讨论训练困难的学位论文，成了后来走出这个系的某种架构的起点^[1][2]。