《微调后的语言模型是零样本学习器》（FLAN）

要解决的问题：没有例子也要完成任务

零样本学习（zero-shot learning）指的是：模型要完成一个它从未被专门训练过的任务，而且提示里不给任何示例。预训练语言模型学到的主要是「接着往下写文本」，这和「照着提示把事办好」并不是一回事。这篇论文提出的方法目标很朴素——改善语言模型的零样本能力，并检验这种能力是否可以被训练出来，而不是只能靠把模型做大 ^[1]。

作者包括 Jason Wei、Maarten Bosma、Vincent Y. Zhao、Kelvin Guu、Adams Wei Yu、Brian Lester、Nan Du、Andrew M. Dai 和 Quoc V. Le ^[1]。

做法：指令微调

论文的核心概念是「指令微调」（instruction tuning）：在一个由指令描述的任务集合上对语言模型做微调。不同于拿原始文本继续训练，这里每条训练样本都用自然语言指令说明「要对输入做什么」。论文报告说，用这种方式微调之后，模型在它没见过的任务上的零样本表现会明显变好 ^[1]。

具体实验中，作者取来一个 137B 参数的预训练语言模型，在 60 多个自然语言处理（NLP）任务上做指令微调，每个任务都通过自然语言指令模板转写成统一的格式。这样得到的模型被命名为 FLAN ^[1]。

结果

FLAN 相比未经改动的原模型有明显提升。在作者评测的 25 个任务里，它在其中 20 个上超过了零样本的 175B GPT-3——也就是说，一个比对照模型更小的模型，在大部分评测任务上反而更好 ^[1]。

提升不只体现在追平零样本基线。在 ANLI、RTE、BoolQ、AI2-ARC、OpenbookQA 和 StoryCloze 上，FLAN 还以较大幅度超过了少样本（few-shot）GPT-3，即超过了那个在提示里给出了示例、且规模大得多的模型 ^[1]。

消融实验（ablation study）进一步检查了效果来自哪里，并指出三个因素对指令微调的成功起关键作用：微调所用数据集的数量、模型的规模，以及自然语言指令本身 ^[1]。

为什么重要

这个结果的意义在于把两件常被混在一起的事分开看：模型有多大，以及它是怎么被训练的。论文的对比说明，一个经过指令训练的模型，在新任务上的表现可以好过一个没有这样训练过的更大模型 ^[1]。它同时把零样本泛化看成一种可以被有意改善的性质——取决于训练数据和数据形式的选择——而不只是参数变多之后的自然结果。

把任务写成自然语言指令，本身也是贡献的一部分：它让许多不同的数据集可以用同一种语言模型读得懂的共同形式表达出来 ^[1]。

版本

论文于 2021 年 9 月 3 日首次提交到 arXiv，编号 2109.01652 ^[1]。当前版本是第 5 版，于 2022 年 2 月 8 日修订，具体的修改清单列在附录 F 中 ^[1]。