通用语言模型微调（ULMFiT）

要解决的问题

《Universal Language Model Fine-tuning for Text Classification》于 2018 年 1 月 18 日首次提交到 arXiv，编号 1801.06146，作者是 Jeremy Howard 和 Sebastian Ruder。^[1] 论文从一个对比出发：在计算机视觉中，归纳迁移学习（inductive transfer learning）——把一个任务上学到的模式用于另一个任务——已经产生了很大影响；而在自然语言处理（NLP）中，方法仍然需要针对具体任务做修改，并且要从头训练。^[1] 这意味着每遇到一个新的 NLP 任务，通常都要调整模型并重新训练，不能直接受益于一个通用的起点。论文要问的是：NLP 能否也采用更通用的迁移方式，从语言模型出发，把它微调到目标任务上。^[1]

方法

作者把 ULMFiT 提出为一种可以用于任何 NLP 任务的迁移学习方法。^[1] 它不是为某一个基准单独设计的分类器，而是围绕语言模型微调来组织的方法：从语言模型出发，把它调整到目标任务上。^[1] 论文提出了若干技术，作者称这些技术是微调语言模型的关键。^[1] 这里的“通用”指的是方法层面的通用性：论文把它表述为适用于任何 NLP 任务，而不是只适用于某一个数据集或某一种文本分类设置。^[1] 论文的评估集中在文本分类上，但它声称的适用范围更广。^[1]

迁移学习与微调的含义

要理解这一点，可以把迁移学习看成一种复用已有知识的做法：模型先在一个任务或一种数据分布上学习，再把学到的模式带到另一个任务。微调则是迁移学习的一种具体方式：在已有模型的基础上继续训练，使它适应目标任务的判断。语言模型提供的是一个关于语言的起点；文本分类则要求模型根据文本给出类别判断。ULMFiT 的核心主张，就是这两类训练可以衔接起来，而不必为每个分类任务重新设计一整套方法。^[1]

结果

在六个文本分类任务上，ULMFiT 超过了当时的最先进水平，在大多数数据集上把错误率降低了 18% 到 24%。^[1] 这是一个关于分类准确度的量化结果：错误率更低，意味着方法在这些任务上比原有结果犯的错更少。论文还报告了一个少标签结果：只用 100 个带标签的样本，ULMFiT 就达到了从头训练、但使用 100 倍数据时的性能。^[1] 这个比较检验的是：微调后的语言模型能否弥补标注样本不足的问题。两个结果合在一起支持论文的论点：方法既能在已有任务上提高准确度，也能在标签稀缺时发挥作用。^[1]

开放资源与意义

作者开源了预训练模型和代码。^[1] 这让其他人能够使用和检查这套方法，而不只是阅读论文中的描述。^[1] 论文的重要性来自它处理的问题：当时的 NLP 方法仍然依赖针对任务的修改和从头训练，而 ULMFiT 提供了一种被表述为适用于任何 NLP 任务的迁移学习方法。^[1] 它在六个分类任务上的提升，以及用 100 个带标签样本取得的结果，说明了语言模型微调为什么值得研究：它把在计算机视觉中已经产生很大影响的迁移学习思路带到了 NLP，并在文本分类任务上给出了明确评估。^[1] 论文的范围也由它报告的内容界定：六个文本分类任务、大多数数据集上 18% 到 24% 的错误率降幅，以及 100 个带标签样本与 100 倍数据之间的比较。^[1]