预训练与微调

它是什么

预训练与微调是构建 AI 模型的两阶段方法。第一阶段，大模型在海量无标注文本上学习，采用自监督目标（self-supervised objective），也就是训练信号直接来自文本本身，不需要人工标注。第二阶段，模型用规模小得多的有标注数据适应某个具体任务，这一步叫作微调。^[1]

怎么工作

设想一个模型已经读过大量文本，学会了预测下文。某家公司想要一个能把客户留言分为投诉和表扬的工具。它不必从零训练新模型，而是用少量带标签的留言对这个预训练模型进行微调。模型保留了早先学到的通用语言知识，只需要学习新任务的具体要求。

两个阶段，两类数据

两个阶段使用的数据不同。第一阶段是海量的未标注文本，收集相对容易，但训练耗费很大；第二阶段是规模较小、正确答案已知的样本，制作成本高，但训练负担较轻。这套方法正是把两者的优势结合起来。

它从哪里来

2018 年 6 月，OpenAI 的 GPT 论文在 BooksCorpus 数据集上预训练了一个 Transformer 解码器，让它预测下一个词，然后再针对各项任务分别微调。它在所研究的 12 项任务中，有 9 项刷新了当时的最好成绩。^[1]

同年 10 月，Google 的 BERT 用掩码语言建模（masked language modelling）和下一句预测（next-sentence prediction）预训练了一个 Transformer 编码器。掩码语言建模会遮住句子中的部分词，让模型依据两侧的上下文把它们猜出来。^[2]

为什么重要

预训练把大部分成本集中到一次昂贵的训练中，训练得到的结果可以复用到许多不同的任务上。「基础模型」这一说法正是由此而来：与其为每项工作单独搭建一套系统，不如从一个通用模型出发，再针对需要去调整。^[3]即使标注数据很少，团队也有可能获得可用的结果，因为大部分通用能力已经在预训练阶段学成。

今天的情况

如今的聊天助手在预训练之后，还会增加其他阶段，例如有监督的指令微调，以及基于人类反馈的强化学习。^[5]预训练提供的是广泛的基础，这些后续阶段则决定模型在对话中如何表现。

局限

预训练从给定的文本中学习，因此它会吸收这些文本中的规律，包括其中的错误和偏见。微调仍然需要为每个新任务准备有标注的样本，而制作标注要耗费人力。第一阶段的大规模训练成本也很高，这让许多团队难以负担。