Meta 发布 Galactica，三天后撤下演示

背景

科学家需要处理大量论文、公式、代码和参考资料。Meta AI 与 Papers with Code 合作开发了 Galactica，希望这个语言模型能帮助科研工作。^[1]

发生了什么

2022 年 11 月 15 日，Meta AI 与 Papers with Code 推出了 Galactica，并提供公开演示。规模最大的版本拥有 1,200 亿参数，训练数据包括 4,800 万个样本，来源有科学文章、教科书、课堂讲义、网站和百科全书。^[1][2]

论文报告称，它在 LaTeX 公式任务上的得分为 68.2%，GPT-3 为 49.0%；在 MATH 基准上得分 20.4%，PaLM 540B 为 8.8%。^[3]

关键细节

用户很快发现了问题。他们展示了模型会以真实作者的名义生成虚假论文，也会对虚构的主题写出看似可信的文章。^[1]

Meta 于 2022 年 11 月 17 日撤下了演示，距上线约三天。模型本身仍向研究者开放。^[1]

马克斯·普朗克研究所的 Michael Black 评价说，它的输出「错误或有偏见，却听起来正确且权威」。^[1]

语言模型的工作方式是预测最可能出现的下一个词，因此即使内容不真实，也能写出流畅的句子。科学文本中的引用、公式和术语看起来都很权威，错误因此更难被发现。LaTeX 是排版数学公式常用的标记语言。论文中的对比对象 GPT-3 和 PaLM 540B 都是此前的大语言模型。^[3]

演示是公开的，任何人都可以输入问题并查看输出。这使模型自信地出错的倾向，不再只有研发者才能看到。^[1]

影响

这件事显示了语言模型「说得流畅」与「说得可靠」之间的差距。