塞普·霍赫赖特（Sepp Hochreiter）

概况

塞普·霍赫赖特（Sepp Hochreiter）是德国计算机科学家，1967年2月14日出生于西德的 Mühldorf。^[1] 他最为人知的成就，是与人合作提出了长短期记忆网络（long short-term memory，LSTM）。LSTM属于循环神经网络（recurrent neural network）。这类网络按顺序读取数据，例如一句话里的词，并把内部状态从一步传到下一步。长序列上的训练一直很困难，LSTM正是为了解决这一难题而设计的。

教育与早期研究

1991年，霍赫赖特在慕尼黑工业大学（Technical University of Munich）完成了毕业论文（diploma thesis）。论文分析了循环网络在用梯度下降（gradient descent）训练时，误差信号为何会消失或爆炸。梯度下降是一种逐步调整连接强度、使网络误差变小的方法。这篇论文还包含了LSTM的最初结果。^[1]

1999年，他在同一所大学取得博士学位，导师是 Wilfried Brauer。博士论文研究的是低复杂度神经网络的泛化（generalisation），也就是网络在训练时未见过的样本上表现如何。^[1]

主要贡献

1997年，霍赫赖特与于尔根·施密德胡伯（Jürgen Schmidhuber）在《神经计算》（Neural Computation）期刊上发表了论文《Long Short-Term Memory》。这项工作完成时，霍赫赖特在慕尼黑工业大学计算机科学系任职。^[3]

LSTM的核心是一个由门（gate）控制的记忆单元。门是网络自己学习得到的小单元，决定有多少新信息写入记忆、保留多少旧内容，以及何时读出。由于记忆单元能跨越许多步保存数值，长序列训练中原本会逐渐消失的误差信号，仍有机会传回较早的时间步。

霍赫赖特的其他工作还包括平坦最小值搜索（Flat Minimum Search）、整流因子网络（rectified factor networks）以及具有连续状态的现代霍普菲尔德网络（modern Hopfield networks）。他还提出了面向生物信息学数据的因子分析方法，如 FABIA 和 FARMS。^[1]

2024年5月，霍赫赖特是论文《xLSTM: Extended Long Short-Term Memory》的资深作者。该工作借助指数门控（exponential gating）和新的记忆结构，把LSTM扩展到数十亿参数的规模。作者报告，其语言建模结果可与Transformer相比；Transformer是当前多数大型语言模型所采用的架构。^[5]

任职经历

霍赫赖特先后在柏林工业大学（TU Berlin）、科罗拉多大学博尔德分校（University of Colorado Boulder）和慕尼黑工业大学工作，之后转到奥地利的约翰尼斯·开普勒林茨大学（JKU Linz）。^[1] 在林茨，他于2006年至2018年领导生物信息学研究所，自2018年起领导机器学习研究所。2017年，他出任林茨技术学院（LIT）人工智能实验室负责人。他还是人工智能高级研究所（IARAI）的创始董事之一。

影响

2021年，IEEE计算智能学会因他在LSTM方面的工作，授予他神经网络先驱奖（Neural Networks Pioneer Award）。^[4] 在Transformer成为主流之前，LSTM是语音、文本和时间序列等序列学习任务中常用的模型结构。xLSTM的工作说明，这一方向至今仍在发展。