《论随机鹦鹉的危险：语言模型会不会太大？》

论文与问题 这篇论文由 Emily M. Bender、Timnit Gebru、Angelina McMillan-Major 和 Shmargaret Shmitchell 撰写，收录于 FAccT '21 会议论文集第 610 至 623 页 ^[1]。论文于 2021 年 3 月 1 日发表，DOI 为 10.1145/3442188.3445922 ^[1]。它发表于 2021 年的 ACM Conference on Fairness, Accountability, and Transparency（FAccT）^[1]。摘要指出，此前三年自然语言处理（NLP）领域的工作以开发和部署越来越大的语言模型为特征，尤其是英语模型 ^[1]。摘要列举了 BERT 及其变体、GPT-2 和 GPT-3，以及最近的 Switch-C ^[1]。在这一背景下，作者退后一步，追问模型大到什么程度算太大、这项技术伴随哪些风险、有哪些路径可以缓解这些风险 ^[1]。

文章怎么展开 语言模型大致是学习文本模式、用来生成或评估语言的系统。文章把问题放在 NLP 领域不断开发、部署更大模型的时期，而且这些模型尤其面向英语 ^[1]。作者追问这一趋势伴随哪些风险、可以怎样应对 ^[1]。这里的“缓解”指能够减少或处理这些风险的步骤。标题中的问题——语言模型会不会太大——因此不只关乎模型尺寸，也关乎成本、后果和选择 ^[1]。文章的核心做法，是把规模、风险和缓解放在同一个框架里讨论 ^[1]。它要求人们在考虑模型大小时，同时考虑这项技术要用来做什么、可能付出什么代价 ^[1]。

建议 作者提出了若干建议。第一是首先权衡环境成本和财务成本 ^[1]。第二是把资源投入数据集的整理和仔细记录，而不是把网上的内容全部收进来 ^[1]。他们还建议在开发前做演练，评估计划中的做法如何契合研发目标、如何支持利益相关者的价值观 ^[1]。最后，他们鼓励探索超越“越来越大语言模型”的研究方向 ^[1]。这些建议分别涉及成本、数据实践、项目规划和科研方向 ^[1]。成本方面的建议要求先看环境与财务代价；数据方面的建议要求整理并记录数据集，而不是无差别地收集网上内容；开发前演练要求团队检查计划与研发目标、利益相关者价值观是否一致；研究方向方面的建议则把议程扩展到不以更大模型为中心的研究 ^[1]。

发表与意义 论文发表于 2021 年的 FAccT ^[1]。它的贡献在于把语言模型的扩张与环境成本、财务成本、数据记录、研发目标、利益相关者价值观以及替代研究方向联系起来 ^[1]。文章没有用一个数字来结束“多大算太大”的问题，而是列出一组判断如何推进的考虑 ^[1]。对读者来说，它提供了一些检查点，用来讨论是否要建设更大的系统、以及怎样建设 ^[1]。