约书亚·本吉奥（Yoshua Bengio）

概况

约书亚·本吉奥（Yoshua Bengio）是加拿大计算机科学家，1964年3月5日出生于巴黎。^[2] 自1993年起，他担任蒙特利尔大学（Université de Montréal）计算机科学教授。^[2] 2018年，他与杰弗里·辛顿（Geoffrey Hinton）、杨立昆（Yann LeCun）共同获得ACM A.M.图灵奖，表彰他们在深度神经网络上的概念与工程突破。^[3]

教育与早期研究

本吉奥先后在麦吉尔大学（McGill University）学习，获得计算机工程学士学位，以及计算机科学的硕士和博士学位。他的博士学位于1991年完成，研究方向是神经网络与序列识别。随后，他在麻省理工学院（MIT）与迈克尔·I·乔丹（Michael I. Jordan）合作开展博士后研究，并在AT&T贝尔实验室（AT&T Bell Labs）工作。^[2]

1994年，他与 Patrice Simard 和 Paolo Frasconi 共同发表了论文《Learning long-term dependencies with gradient descent is difficult》，刊登于《IEEE神经网络汇刊》。标题本身点明了问题：当网络需要把相距很远的序列信息关联起来时，训练信号往往会逐渐衰减或变得不稳定，使这类依赖关系难以学会。^[5]

此后，他把神经网络与隐马尔可夫模型（hidden Markov model）等概率序列模型结合起来，这类方法被用于AT&T与NCR合作的手写支票识别系统。^[3]

主要贡献

2003年，本吉奥与 Réjean Ducharme、Pascal Vincent 和 Christian Jauvin 在《机器学习研究杂志》（JMLR）上发表了一个神经概率语言模型。该模型学习到了词嵌入（word embedding）。词嵌入把每个词表示为一组数字，使用方式相近的词得到相近的数字组合。ACM认为，这项工作引入了高维词嵌入。^[3]

2014年，他的团队与 Dzmitry Bahdanau 和 Kyunghyun Cho 一起，把注意力机制（attention）引入神经机器翻译。注意力让模型生成每个输出词时，回看源句中相关的词，而非把整句压缩成固定摘要。^[2]

同年，他与 Ian Goodfellow 等人合作发表了2014年的生成对抗网络（generative adversarial network，GAN）论文。2016年，他与 Ian Goodfellow 和 Aaron Courville 合著的教科书《Deep Learning》出版。^[2]

任职经历

本吉奥创立了魁北克人工智能研究所（Mila），并担任其科学主任至2025年。现在，他是该研究所的创始人兼科学顾问，并持有加拿大CIFAR人工智能主席职位。^[1] 他担任《国际人工智能安全报告》主席，该报告完整版于2025年1月发布。2025年6月，他发起成立非营利组织 LawZero，并担任联合主席兼科学主任。^[1]

荣誉与影响

他的其他荣誉包括加拿大勋章（Order of Canada，2017年）、英国皇家学会院士（2020年）和阿斯图里亚斯亲王奖（Princess of Asturias Award，2022年）。2025年，他与辛顿、约翰·霍普菲尔德（John Hopfield）、杨立昆、黄仁勋（Jensen Huang）、比尔·达利（Bill Dally）和李飞飞（Fei-Fei Li）共同获得伊丽莎白女王工程奖（Queen Elizabeth Prize for Engineering）。^[4] 图灵奖附带100万美元奖金，由谷歌出资。^[3]