蒙特利尔大学

一所法语大学

蒙特利尔大学（Université de Montréal）是位于加拿大魁北克省蒙特利尔的一所法语公立研究型大学。学校官网列出 16 个院系，包括文理学院、医学院、法学院和音乐学院，并把 HEC Montréal 与 Polytechnique Montréal 列为附属学校。^[8]

从分校到自治

学校 1878 年建校时是拉瓦尔大学（Université Laval）的一所分校。1919 年 5 月 8 日，一份教皇特许状（papal charter）授予它完全自治权，它自此成为一所独立大学。^[1] 也就是说，学校纪念的起点有两个：1878 年是开办之年，1919 年是开始自己管自己的年份。

深度学习

深度学习（deep learning）是机器学习的一个分支，用的是在输入和输出之间堆叠许多层的神经网络。每一层都对数据做一次变换，网络因此能逐层搭出越来越抽象的表达，而不必依赖人工设计的特征。蒙特利尔大学今天的名声，很大一部分来自这个领域。Yoshua Bengio 自 1993 年起在该校计算机科学系任教。^[2] 他在 1993 年创办的深度学习研究所 Mila，自 2017 年起与麦吉尔大学（McGill University）合作运营，被称为世界上最大的深度学习学术研究中心。^[1] 这样规模的研究所挂在一所大学下面，意味着这里的深度学习不是一间实验室，而是一大片研究组。

在这里写成的论文

好几篇塑造了现代语言技术的论文都出自这里。2003 年发表在《机器学习研究杂志》（Journal of Machine Learning Research）上的《A Neural Probabilistic Language Model》，由 Bengio 与该校的 Réjean Ducharme、Pascal Vincent、Christian Jauvin 合写，提出了用于语言建模的、可学习的词特征向量（word feature vector）。^[3] 词特征向量就是用一串数字代表一个词，这串数字不是手工规定的，而是从文本里学出来的；经常出现在相似语境里的词，学到的数字也彼此接近。模型于是能在一个词和用法相近的词之间做迁移，而不是把每个词都当成孤立的符号。

2014 年的生成对抗网络（Generative Adversarial Networks）论文，由 Ian Goodfellow 与包括 Bengio 在内的同事在该校写成。^[4] 生成对抗网络让两个模型互相对抗：一个负责生成样本，一个负责判断样本是真实的还是生成的，这种竞争会把生成的一方推向更逼真的输出。

同样在 2014 年，Dzmitry Bahdanau、Kyunghyun Cho 和 Bengio 完成了那篇基于注意力（attention）的神经机器翻译论文，论文把 Cho 与 Bengio 的单位标为蒙特利尔大学。^[5] 注意力机制让翻译模型在生成每一个词时回头查看原句的不同位置，而不是先把整句压成一个固定长度的向量。

也有人在这里短期工作过。后来成为 word2vec 负责人的 Tomáš Mikolov，在读博士期间曾到该校 Bengio 的实验室。^[6]

影响与位置

2018 年，Bengio 与 Geoffrey Hinton、Yann LeCun 共同获得 ACM 图灵奖（A.M. Turing Award）。^[7] 该奖由美国计算机学会（Association for Computing Machinery，即名称中的 ACM）颁发。对蒙特利尔大学来说，这种组合并不常见：一边是延续百余年、覆盖文理医法等众多领域的院系结构，另一边是高度密集的深度学习研究——语言建模、生成模型、机器翻译上都留下了奠基性的论文，还有一个持续培养和聚集研究者的研究所。