指令微调

是什么

指令微调（instruction tuning）是一种监督微调（supervised fine-tuning），目的是让大语言模型学会听从用户的指令^[1]。它属于模型训练的微调阶段，而不是预训练（pre-training）的一部分^[1]。

一个只学过预测下一个词元的模型，可以很擅长把一段话接着往下写，但「接着写」并不等于「照着做」。指令微调缩小的正是这个差距：模型会看到一条指令以及应当跟在后面的回答，参数被调整，使这种「给要求、给结果」的行为更容易发生。

怎么工作

GPT 类模型先在海量数据上做预训练，学会预测下一个词元（token），之后才进行微调^[1]。预训练赋予模型对语言的总体把握，微调则塑造它回应的方式。按照 FLAN 论文的表述，指令微调就是用一批「以指令形式描述的任务」来微调语言模型^[2]。

举个具体例子会更清楚。一份用于指令微调的训练数据里，可能有一条要求把某句话翻译成另一种语言，后面跟着正确的译文；还可能有另一条要求判断一段评论是正面还是负面，后面跟着标签。模型要学的不是某一个具体任务，而是「读一段任务描述、然后给出所要的输出」这一习惯。由于同样的指令格式在许多不同任务上被反复使用，格式本身就成了一种信号：这样写出来的文字，是要被执行的，而不是要被续写的。

FLAN 论文表明这种做法是有效的：指令微调能显著提升模型在未见任务上的零样本（zero-shot）表现^[2]。零样本指的是，测试时模型面对一个它没有训练过的任务，只凭一条指令就要完成，不再提供额外的示例。

从哪来

FLAN 论文于 2021 年 9 月首次提交^[2]。2022 年，OpenAI 提出 InstructGPT，即用这种方式微调过、能够按指令行事的 GPT-3^[1]。FLAN 预印本的 2021 年 9 月早于 2022 年 3 月提交的 InstructGPT 论文，因此指令微调作为一种被命名的方法，早于基于人类反馈强化学习（RLHF）的 InstructGPT 配方^[2]。

与 RLHF 的区别

指令微调常与基于人类反馈的强化学习一起被提到，但两者是不同做法。基于人类反馈的强化学习先训练一个奖励模型来预测人类偏好，再用强化学习让语言模型针对这个奖励模型做优化^[1]。指令微调则是普通的监督微调，训练样本就是指令加回答。前者是把模型往奖励模型打高分的方向推，后者是直接让模型学会复现它看到的答案。

用在哪里

ChatGPT 就是基于 GPT-3.5 的微调版本^[1]。在上面这条流程里，指令微调处在「只会预测词元的模型」和「人能直接下指令的模型」之间。它的重要性也在这里：单靠预训练得到的是一个文本续写器，而这一步微调让同一个底层模型变成能回答问题、能执行要求的东西。

局限

由于它属于监督微调，模型学到什么，受限于它看到的样本。带有偏见或不准确的训练数据，会让模型的输出不可靠^[1]。此外，学会「读指令、照着答」这种形式，本身并不保证回答内容正确——这种行为是建立在示范数据的质量之上的。