人物
杰弗里·辛顿
杰弗里·辛顿(Geoffrey Hinton)是出生于伦敦的计算机科学家,他的神经网络研究是深度学习的核心内容之一,并共享了 2018 年图灵奖和 2024 年诺贝尔物理学奖。
出生 1947
概况
杰弗里·辛顿(Geoffrey Hinton)是计算机科学家,1947 年 12 月 6 日出生于伦敦。[1] 他的研究集中在神经网络上,尤其是让网络从数据中学习自己的内部表示(representation)。获得诺贝尔奖时,他任职于加拿大多伦多大学。[1]
教育与早期研究
他 1970 年获得剑桥大学国王学院实验心理学学士学位,1978 年获得爱丁堡大学人工智能博士学位,导师是克里斯托弗·朗奎特-希金斯(Christopher Longuet-Higgins)。[6] 心理学与人工智能兼具的训练背景,贯穿了他后来的研究。
主要贡献
他与特伦斯·谢伊诺夫斯基(Terrence Sejnowski)在 1983 年至 1985 年间发明了玻尔兹曼机(Boltzmann machine)。它借助统计物理学的工具构建,能够学习一组数据的特征,诺贝尔奖的评审说明中也提到了这项工作。[2] 1986 年,他与大卫·鲁梅尔哈特(David Rumelhart)、罗纳德·威廉姆斯(Ronald Williams)合作,在《自然》上发表关于反向传播的论文,表明神经网络能够学会数据的内部表示。[3]
任职经历
他先后任职于英国萨塞克斯大学、加州大学圣迭戈分校和卡内基梅隆大学,1987 年加入多伦多大学任计算机科学教授。[6] 1998 年至 2001 年,他是伦敦大学学院盖茨比计算神经科学研究所(Gatsby Computational Neuroscience Unit)的创始主任。2006 年,他被多伦多大学聘为大学教授(University Professor),现为荣休教授。[6]
2012 年,他与学生亚历克斯·克里热夫斯基(Alex Krizhevsky)、伊利亚·苏茨凯弗(Ilya Sutskever)共同搭建了 AlexNet,这是一种使用修正线性单元(rectified linear unit)和 dropout 的卷积神经网络。它在 ImageNet 图像识别竞赛中把错误率几乎减半。[3] 同年,三人创办了 DNNresearch 公司。2013 年 3 月,谷歌收购该公司,辛顿此后在谷歌工作,直到 2023 年 5 月公开宣布辞职。多伦多大学表示,他离开谷歌是为了专注警示人工智能快速、缺乏监管发展的风险。[4]
荣誉与影响
他曾任加拿大高等研究院(CIFAR)神经计算与自适应感知项目的创始主任。2017 年,他共同创办了多伦多的 Vector Institute,并担任首席科学顾问。[6] 2018 年,他与约书亚·本吉奥(Yoshua Bengio)、杨立昆(Yann LeCun)共同获得 ACM A.M. 图灵奖,该奖项表彰了使深度神经网络成为计算关键组成部分的概念与工程突破,2019 年 3 月 27 日公布。[3]
2024 年,他与约翰·霍普菲尔德(John J. Hopfield)共享诺贝尔物理学奖,获奖理由是「为利用人工神经网络实现机器学习的基础性发现和发明」。[1][2] 他还获得过英国皇家学会会士(1998 年)、加拿大勋章(Companion of the Order of Canada,2018 年)、2022 年阿斯图里亚斯亲王奖和 2025 年伊丽莎白女王工程奖。[5][6]
离开谷歌后,辛顿公开谈论人工智能的风险,多伦多大学也把这一点列为他离职的原因。[4]
关系
生涯时间线
18-
1960
-
加州大学圣迭戈分校
任职于
位于加州拉霍亚的公立研究型大学,1960年建校。1980年代这里的学者推动了联结主义神经网络研究,2017年后学校又陆续设立数据科学研究所与相关学院。
-
加州大学圣迭戈分校
任职于
-
1982
-
卡内基梅隆大学
任职于 1982–1987
卡内基梅隆大学位于匹兹堡,其计算机科学系是美国最早的之一,并与Deep Blue象棋系统和Sphinx语音识别等工作密切相关。
-
卡内基梅隆大学
任职于 1982–1987
-
1985
-
《玻尔兹曼机的一种学习算法》
参与
1985年,Ackley、Hinton 与 Sejnowski 在《Cognitive Science》发表论文,提出一种修改连接强度的通用学习规则,并用简单例子展示网络能从样本中形成结构高效的内部表示。
-
《玻尔兹曼机的一种学习算法》
参与
-
1986
-
反向传播与梯度下降
参与
反向传播(backpropagation)是多层神经网络的学习方法:把输出误差逐层传回,再用梯度下降调整权重。1986年一篇《Nature》论文使其广为人知,至今仍是标准训练方法。
-
Learning representations by back-propagating errors(通过反向传播误差学习表示)
参与
1986年,鲁梅尔哈特、辛顿和威廉姆斯在《Nature》上发表论文,证明反向传播能让多层网络中的隐藏单元学会任务的有用内部特征。如今,这一方法是大多数神经网络的标准做法。
-
反向传播与梯度下降
参与
-
1987
-
多伦多大学
任职于 1987–
多伦多大学是加拿大的公立研究型大学。杰弗里·辛顿(Geoffrey Hinton)自1987年起与其保持隶属关系,2012年的深度卷积网络AlexNet也在这里研发。
-
多伦多大学
任职于 1987–
-
1998
-
伦敦大学学院(UCL)
任职于 1998–2001
伦敦大学学院(UCL)是伦敦市中心的公立研究型大学。辛顿曾任其 Gatsby 计算神经科学研究所创始主任,哈萨比斯曾在该所做博士后,后来联合创办 DeepMind。
-
伦敦大学学院(UCL)
任职于 1998–2001
-
2006
-
深度信念网络的快速学习算法
参与
2006 年,Hinton、Osindero 与 Teh 提出用「互补先验」和逐层贪心算法训练深层信念网络,再做整体微调;所得带三个隐藏层的模型既能生成手写数字,分类效果也很好。
-
深度信念网络的快速学习算法
参与
-
2009
-
《从小图像中学习多层特征》(CIFAR-10/100)
参与
CIFAR-10 与 CIFAR-100 是从 8000 万张小图像数据集中抽出的带标签子集。CIFAR-10 含 10 类、共 60000 张 32×32 彩色图像。
-
《从小图像中学习多层特征》(CIFAR-10/100)
参与
-
2010
-
使用均值-协方差受限玻尔兹曼机进行音素识别
参与
2010年 NIPS 论文,Dahl、Ranzato、Mohamed 和 Hinton 将深度信念网络与均值-协方差受限玻尔兹曼机用于声学建模,在说话人无关 TIMIT 音素识别上达到20.5%音素错误率。
-
使用均值-协方差受限玻尔兹曼机进行音素识别
参与
-
2012
-
AlexNet
参与
AlexNet 是一个八层卷积神经网络,在 ILSVRC2012 图像分类任务中以明显优势夺冠,证明用 GPU 在大型标注数据集上训练的大网络可以胜过手工设计特征的方法。
-
ImageNet Classification with Deep Convolutional Neural Networks(用深度卷积神经网络做 ImageNet 分类)
参与
2012年的NeurIPS论文提出了AlexNet,这是一个在GPU上训练的大型卷积神经网络,并在ILSVRC-2012竞赛中夺冠。
-
DNNresearch 公司
创立
DNNresearch 公司是 2012 年由多伦多大学教授 Geoffrey Hinton 与两名研究生创立的初创公司,研究深度神经网络,后被 Google 收购。
-
深度神经网络用于语音识别声学建模:四个研究组的共同观点
参与
2012年发表于 IEEE Signal Processing Magazine 的文章,汇集四个研究组的共同观点,说明用深度神经网络替代高斯混合模型做语音识别声学建模,在多项基准上效果更好。
-
AlexNet
参与
-
2013
-
用深度循环神经网络做语音识别
参与
Graves、Mohamed 与 Hinton 于 2013 年发表的论文,考察用深度循环神经网络做语音识别,主张借助连接时序分类等方法实现端到端的序列训练。
-
用深度循环神经网络做语音识别
参与
-
2014
-
Dropout:一种防止神经网络过拟合的简单方法
参与
2014 年的一篇论文提出 Dropout:训练时随机丢弃神经元,让大型神经网络不易过拟合,并在视觉、语音等领域的多项基准上取得当时最好的结果。
-
Dropout:一种防止神经网络过拟合的简单方法
参与
-
2015
-
深度学习(Nature 综述)
参与
2015年,LeCun、Bengio 与 Hinton 在《自然》发表综述,说明多个处理层组成的模型如何学习分层数据表示,并梳理语音、图像等领域的成果。
-
深度学习(Nature 综述)
参与
-
2017
-
向量研究所(Vector Institute)
任职于、创立 2017–
向量研究所是2017年在多伦多成立的非营利人工智能研究机构,杰弗里·辛顿(Geoffrey Hinton)是其创始科学家之一。
-
向量研究所(Vector Institute)
任职于、创立 2017–
20242
-
2024年10月8日,霍普菲尔德与辛顿因在人工神经网络方面的奠基性工作获得诺贝尔物理学奖。人工神经网络是当今许多机器学习方法的基础。
-
2024年9月29日,加州州长加文·纽森(Gavin Newsom)否决了参议院第1047号法案。该法案要求大型人工智能模型开发者采取安全措施,并设立前沿模型委员会。
20231
-
2023 年 5 月 30 日,AI 安全中心发布一句话声明,主张减轻 AI 带来的灭绝风险应成为全球优先事项,多位知名研究者与实验室负责人署名。
20221
-
里程碑辛顿、勒丘恩、本吉奥、哈萨比斯获 2022 年阿斯图里亚斯亲王奖
2022年6月,阿斯图里亚斯亲王奖技术科学研究奖授予杰弗里·辛顿、扬·勒丘恩、约书亚·本吉奥和德米斯·哈萨比斯,以表彰他们推动人工智能发展并促进其融入社会。
20191
-
里程碑Bengio、Hinton、LeCun 获 2018 年 ACM 图灵奖
2019 年 3 月,ACM 宣布将 2018 年图灵奖授予 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun,表彰他们让深度神经网络成为计算关键组成部分的概念与工程突破。
20131
-
2013年3月,多伦多大学宣布谷歌已收购 DNNresearch。这家初创公司由杰弗里·希顿和两名研究生在2012年成立,做的是深度神经网络研究。
20122
-
评测AlexNet 赢得 ImageNet ILSVRC 2012 挑战赛
2012 年 10 月,多伦多大学团队的 AlexNet 在 ImageNet 图像识别挑战赛中以大幅优势夺冠,表明在大规模数据和 GPU 上训练的神经网络能远超手工设计特征的方法。
-
2012 年 8 月至 10 月在 Kaggle 举行的竞赛:参赛者依据分子化学结构生成的数值描述符预测其生物活性,Geoffrey Hinton 参与指导的队伍获得第一名。
20061
-
「深度学习」今天指一整个研究领域,但它的流行通常被追溯到2006年一篇关于深度信念网的论文;同样的说法早在1986年就已出现在其他研究中。
20041
-
CIFAR 于 2004 年启动「神经计算与自适应感知」项目,由 Hinton、Bengio 等人倡议,被视为深度学习发展的起点。
参与11
- 深度学习(Nature 综述)
- Dropout:一种防止神经网络过拟合的简单方法
- 用深度循环神经网络做语音识别
- 深度神经网络用于语音识别声学建模:四个研究组的共同观点
- ImageNet Classification with Deep Convolutional Neural Networks(用深度卷积神经网络做 ImageNet 分类)
- AlexNet
- 使用均值-协方差受限玻尔兹曼机进行音素识别
- 《从小图像中学习多层特征》(CIFAR-10/100)
- 深度信念网络的快速学习算法
- Learning representations by back-propagating errors(通过反向传播误差学习表示)
- 《玻尔兹曼机的一种学习算法》
注释与来源
- Geoffrey Hinton – Facts – 2024https://www.nobelprize.org/prizes/physics/2024/hinton/facts/
- Press release: The Nobel Prize in Physics 2024https://www.nobelprize.org/prizes/physics/2024/press-release/
- Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Awardhttps://web.archive.org/web/2024/https://awards.acm.org/about/2018-turing
- Geoffrey Hinton wins Nobel Prize in Physicshttps://www.utoronto.ca/news/geoffrey-hinton-wins-nobel-prize
- 2025 Queen Elizabeth Prize for Engineering: Modern Machine Learninghttps://qeprize.org/winners/modern-machine-learning
- Geoffrey Hintonhttps://en.wikipedia.org/wiki/Geoffrey_Hinton
引用本页: 杰弗里·辛顿. TellWorld, https://www.tellworld.net/zh/people/geoffrey-hinton. 更新于 2026-11-07