阿希什·瓦斯瓦尼（Ashish Vaswani）

概况

阿希什·瓦斯瓦尼（Ashish Vaswani）是一位计算机科学家，最为人所知的身份是论文《Attention Is All You Need》的第一作者。这篇论文于2017年提交，提出了Transformer架构。许多大语言模型都以这一设计为基础，论文也是机器学习领域被引用最多的文章之一。^[2]

教育与早期研究

瓦斯瓦尼2002年在印度的比尔拉理工学院（Birla Institute of Technology, Mesra）获得计算机科学学士学位（B.Tech.）。^[1] 2004年，他进入美国南加州大学（University of Southern California）读研究生，并在该校取得计算机科学博士学位，导师包括David Chiang和Liang Huang。他2014年的博士论文题为《Smaller, Faster, and Accurate Models for Statistical Machine Translation》，研究的是机器翻译，也就是让计算机把一种语言的文字转换成另一种语言。他还隶属于南加大的信息科学研究所（Information Sciences Institute）。^[1]

主要贡献

2017年6月，瓦斯瓦尼与另外七位作者共同提交了《Attention Is All You Need》。作者按署名顺序依次为Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser和Illia Polosukhin。^[2]

此前的语言模型大多按顺序逐个处理词语。Transformer则依靠注意力机制（attention），让句子中的每个位置计算自己应当参考其他各个位置的程度。比如在句子“The animal did not cross the street because it was tired”中，注意力机制能把“it”和“animal”联系起来，即使两者相隔好几个词。由于计算不必严格地一步步进行，这种结构可以在现代芯片上并行运行，使大规模训练变得切实可行。

这项工作的意义在于，它提供了一种既能捕捉长距离关系、又便于并行训练的通用结构。此后，同一思路被用于文本生成、翻译、语音和图像等多种任务，成为现代AI系统中常见的基础设计。

任职经历

瓦斯瓦尼2016年至2021年在Google Brain工作。^[1] Google Brain是Google公司内部的AI研究团队。他还共同创办了AI创业公司Adept，后来离开了该公司。他与同为Transformer论文作者的Niki Parmar共同创办了Essential AI，并担任CEO。该公司于2023年12月走出隐身状态，当时已筹集5650万美元资金。^[3]

影响

这篇论文被引用的次数极多，Transformer也成为此后许多研究与语言模型的起点。^[2] 瓦斯瓦尼离开Google之后，他的工作主要集中在建设AI系统的创业公司上，而这篇以他名字署首位的论文，仍是他与该领域发展历程之间最直接的联系。^[2]