Niki Parmar

概况

Niki Parmar 是《Attention Is All You Need》的八位作者之一，这篇论文于 2017 年 6 月 12 日提交到 arXiv^[1]。Transformer 这一神经网络架构正是在这篇论文中被提出，Google 对它的定位是用于语言理解^[2]。Google 研究博客在 2017 年 8 月 31 日的一篇文章里，也把 Parmar 列入了完成 Transformer 工作的研究者之中^[2]。

这两处记载——论文作者名单上的一席，以及公司自己对这项工作的公开描述——构成了关于 Parmar 的公开记录的主体。其余部分，是同一时期几篇合作论文和一份简短的机构介绍。

教育背景

南加州大学信息科学学院（USC Information Sciences Institute）的一篇报道介绍，Parmar 拥有南加州大学计算机科学硕士学位^[4]。同一篇报道还称 Parmar 是 Ashish Vaswani 在 Google Brain 的同事^[4]，而 Vaswani 也是 Transformer 论文的作者之一。

Transformer 论文

《Attention Is All You Need》共八位作者^[1]。论文描述的架构围绕注意力（attention）搭建：模型并不严格按位置一个接一个地读入序列，而是让每个位置去衡量其他位置传来的信息、按相关程度加权汇总，于是句子中相距较远的成分之间的依赖关系，不必经过一长串中间步骤才能建立起来。因为这是一篇架构论文，它交出的是设计而不是成品，后来被接续使用的也正是这套设计。

Google 的那篇博客还有另一层用处：它把这项工作的公开描述定格在 2017 年 8 月 31 日，比 arXiv 提交晚几个月，并且把 Transformer 写成一群研究者共同的成果，而不是某一个人的成果^[2]。

后续工作

Transformer 论文并不是 Parmar 在这一方向上唯一的合著成果。《Image Transformer》于 2018 年 2 月 15 日提交到 arXiv，署名作者除 Parmar 外，还有 Ashish Vaswani、Jakob Uszkoreit、Łukasz Kaiser、Noam Shazeer、Alexander Ku 和 Dustin Tran^[3]。约一个月后，也就是 2018 年 3 月 16 日，《Tensor2Tensor for Neural Machine Translation》提交，Parmar 是十三位作者之一^[5]。

把这三篇放在一起看，它们集中在一个很短的时间窗口里：2017 年 6 月一次提交，2018 年 2 月和 3 月各一次。它们也显示了工作推进的方向：第一篇提出的是通用架构，后两篇则把它与图像、与神经机器翻译（neural machine translation，即让系统直接从数据中学会翻译，而不依赖人工编写的规则）联系起来。

在记录中的位置

关于 Parmar 的可查记录不多，但很具体：Transformer 论文八位作者中的一席^[1]，Google 博客文章中的一次点名^[2]，2018 年两篇合著的 arXiv 提交^[3][5]，南加州大学的计算机科学硕士学位，以及在 Google Brain 与 Vaswani 共事的经历^[4]。

对一个想弄清 Transformer 从何而来的读者来说，这类细节的价值在于它们可系日期、可核对。机器学习论文的署名通常是集体性的，作者名单就是个人贡献被记录下来、日后被查阅的形式。Parmar 的名字落在一篇被后来大量自然语言处理工作当作起点的论文的作者名单上——这正是这个名字值得查一查的原因，也正是为什么一个保存了提交日期、作者名单和机构说明的档案馆，比一段只留下标题的概述更有用。