托马斯·沃尔夫

概况

托马斯·沃尔夫（Thomas Wolf）是 Hugging Face 的联合创始人兼首席科学官，他在 2016 年与 Clément Delangue、Julien Chaumond 一起创办了这家公司^[1]。首席科学官的职位意味着他站在公司的研究一侧：另外几位创始人负责公司经营，而他与公司对外发布和维护的研究、工程工作联系在一起。

Transformers 论文

沃尔夫最广为人知的公开作品是论文《HuggingFace's Transformers: State-of-the-art Natural Language Processing》，这篇论文介绍的是公司的 Transformers 库^[2]。他是论文的第一作者，在总共 22 位作者中排在 Lysandre Debut、Victor Sanh 和 Julien Chaumond 之前^[3]。论文于 2019 年 10 月 9 日提交到 arXiv，最后一次修订是在 2020 年 7 月 14 日^[3]。这说明它写作时这个库已经在被使用，之后又随着库的变化持续更新。

这个库是什么

论文把 Transformers 描述为一个开源库：它在统一的 API 之下提供当前最好的 Transformer 架构，并由一个经过整理（curated）的预训练模型集合作为支撑^[2]。其中「统一的 API」是关键。Transformer 是一种处理文本序列的神经网络架构，许多研究团队各自做过自己的版本，每个版本的代码风格、文件格式、加载方式都不一样。这个库的贡献就是把这些架构放到同一个接口后面，使用者从一个模型换到另一个模型时，不必重写整个项目。

「经过整理的预训练模型集合」的意义同理。从头训练这样一个模型需要大量文本和计算时间；预训练模型则可以直接下载，再用少得多的功夫适配到新任务上。所谓「整理」，意味着这些模型经过检查和打包，而不是散落在网上各处。

设计目标

同一篇论文说，这个库在设计上要做到三点：对研究者来说可扩展（extensible），对实践者来说简单，在工业部署中快速而稳健^[2]。这三个目标彼此拉扯：研究者想加入新架构、改动内部实现；实践者想不读源码就能加载并运行模型；工业用户关心的是模型进入生产环境之后的速度和可靠性。把三者同时列为目标，说明这个库并不只面向某一类人。

为什么重要

这篇论文描述的是一个工具，而不是提出一个新模型或报告一项基准成绩。它的意义也正在于这个工具：当一个共享的库成为获取和运行预训练语言模型的通用方式时，结果更容易复现和比较，不专门做机器学习的人也用得上这些模型。沃尔夫作为这篇论文的第一作者、以及作为维护该库的公司的联合创始人兼首席科学官，构成了他工作主要的公开记录。