Galactica（科学大模型）

是什么

Galactica 是一个面向科学工作的大语言模型。Meta AI 与 Papers with Code 于 2022 年 11 月 15 日推出了它，并同时提供公开演示。据 Meta 发布时的介绍，它是一个文本模型，能够概括论文、解答数学题、生成类似维基百科的条目、编写科学代码，并为分子和蛋白质做标注。^[1]

由来

论文《Galactica: A Large Language Model for Science》共有 9 位作者，第一作者是 Ross Taylor，于 2022 年 11 月 16 日提交到 arXiv。^[2] 代码位于 GitHub 上的 paperswithcode/galai 仓库，代码采用 Apache-2.0 许可证，模型另有单独的许可证。^[3]

论文标题《Galactica: A Large Language Model for Science》点明了它的重点：面向科学。^[2] LaTeX 是科学论文中常用的公式排版语言，论文也报告了模型在这类公式上的成绩。^[2]

主要特点

训练语料。 Galactica 使用了一个规模达 4800 万条样本的科学语料库进行训练。这些样本包括学术文章、网页、教科书、课堂讲义和百科全书。^[1]

发布的规格。 公开发布的模型有迷你版 1.25 亿参数、基础版 13 亿参数、标准版 67 亿参数、大型版 300 亿参数，以及巨型版 1200 亿参数。^[3]

报告的成绩。 基准测试（benchmark）是用来比较模型的标准化测试集，百分比越高表示在该测试上的得分越好。PubMedQA 与 MedMCQA 都是医学问答测试。论文报告，在 LaTeX 公式上的得分为 68.2%，GPT-3 为 49.0%；在数学版 MMLU 上为 41.3%，Chinchilla 为 35.7%；在 MATH 上为 20.4%，PaLM 540B 为 8.8%。^[2] 论文还报告，在 PubMedQA 上为 77.6%，在 MedMCQA 开发集上为 52.9%，作者称这是新的最佳成绩（state-of-the-art）。^[2]

设计初衷。 Meta 表示，这个模型可以帮助科研人员概括论文、解答数学题、起草文章、编写代码，并为分子和蛋白质做标注。^[1]

在发展中的位置

用户很快发现，这个模型会生成虚假论文，有时还把论文署在真实作者名下。它也会编写关于虚构主题的维基条目，例如太空中熊的历史。^[1] Meta 于 2022 年 11 月 17 日撤下了公开演示，距离上线约三天。模型仍然向研究者开放。^[1]

Meta 首席 AI 科学家 Yann LeCun 在上线时为这个模型辩护。之后他写道，人们已经无法随意滥用它来取乐。^[1]

Galactica 的案例对普通读者很有参考价值。它说明了语言模型听起来很权威，却不一定可靠。生成虚假论文和条目的能力，与它能概括科学内容、回答问题的能力，来自同一种文本生成能力。这次演示让这一差距公开暴露出来。^[1]