人物
雅各布·德夫林（Jacob Devlin）
雅各布·德夫林（Jacob Devlin）是BERT论文的第一作者，BERT是Google于2018年推出的语言模型，能结合词语两侧的上下文理解词义。
概况
雅各布·德夫林（Jacob Devlin）是一位研究科学家，最为人所知的身份是BERT论文的第一作者。BERT是Google于2018年推出的语言模型，此后成为语言理解系统中被广泛采用的起点。论文还于2019年获得了自然语言处理领域重要会议NAACL的最佳长论文奖。[2][4]
教育与早期研究
德夫林2009年在马里兰大学（University of Maryland）获得计算机科学硕士学位，导师是Bonnie Dorr。[1] 他2014年发表的论文《Fast and Robust Neural Network Joint Models for Statistical Machine Translation》获得ACL 2014最佳长论文奖。[1] 统计机器翻译是一种从大量双语对照文本中学习规律、进行翻译的方法，这篇论文把神经网络模型引入了这一方法。
主要贡献
2018年10月11日，德夫林在arXiv上发布了论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，他是第一作者，合作者为Ming-Wei Chang、Kenton Lee和Kristina Toutanova。[2]
此前的语言模型大多只按一个方向，即从左到右阅读文本。BERT则结合每个词两侧的上下文来推断其含义。它先在大量无标注文本上进行预训练，方法是遮住部分词语，让模型预测被遮住的内容；之后只需用较少的数据针对具体任务进行调整。这种“先预训练、再微调”的做法，此后成为构建语言系统的常见方式。
德夫林与Chang一起撰写了Google于2018年11月2日发布的文章，宣布BERT开源。[3]
任职经历
2014年至2017年，德夫林任微软研究院（Microsoft Research）研究科学家。他在那里推动Microsoft Translate从短语统计模型转向神经机器翻译，并开发了用于手机端翻译的离线模型。他还是程序合成（program synthesis，即自动生成程序）论文RobustFill（2017年）的第一作者。[1][6]
2018年，他担任Google高级研究科学家，研究面向信息检索与语言理解的深度学习模型。[1]
影响
BERT论文获得了NAACL 2019最佳长论文奖。[4] 其预训练思路此后被广泛采用，也成为许多后续语言研究常用的对比基准。德夫林的研究从机器翻译转向语言理解，而BERT是与他的名字关联最紧密的工作。[4]
生涯时间线
4-
2000
-
谷歌研究院（Google Research）
任职于
谷歌的研究部门，位于山景城，通常以 2000 年为成立年份，提出了 Transformer、BERT 与 T5，这些工作构成了现代大语言模型的基础。
-
谷歌研究院（Google Research）
任职于
-
2014
-
微软研究院
任职于 2014–2017
微软 1991 年成立的研究机构，成果包括 ResNet 图像识别架构，并用于 Kinect、Bing、HoloLens 等产品。
-
微软研究院
任职于 2014–2017
-
2018
-
BERT
参与
BERT 是 Google 的双向语言模型，通过遮盖部分词再还原的方式预训练，微调后在问答和语言理解基准上刷新成绩，并被用于 Google 搜索。
-
BERT：用于语言理解的深度双向 Transformer 预训练
参与
Google 在 2018 年提出的 BERT，只用 Transformer 编码器，能同时利用前后文，并通过遮词预训练。它在 11 项语言任务上刷新成绩，使「预训练后微调」成为常规做法。
-
BERT
参与
20181
-
2018 年 10 月，谷歌研究者在 arXiv 发布 BERT 论文。BERT 在每一层都同时利用左右两侧的语境，只需增加一个输出层，就能适配问答等任务。
注释与来源
- WNMT 2018 speakers: Jacob Devlin (Google)https://sites.google.com/site/wnmt18/speakers
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understandinghttps://arxiv.org/abs/1810.04805
- Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processinghttps://research.google/blog/open-sourcing-bert-state-of-the-art-pre-training-for-natural-language-processing/
- NAACL-HLT 2019 Best Paper Awardshttps://naacl.org/naacl-hlt-2019/blog/best-papers/
- Fast and Robust Neural Network Joint Models for Statistical Machine Translationhttps://aclanthology.org/P14-1129/
- RobustFill: Neural Program Learning under Noisy I/Ohttps://arxiv.org/abs/1703.07469
引用本页: 雅各布·德夫林（Jacob Devlin）. TellWorld, https://www.tellworld.net/zh/people/jacob-devlin. 更新于 2026-11-08