无监督学习

是什么

无监督学习（unsupervised learning）是一种机器学习框架，算法从没有标签的数据中找出模式，与监督学习（supervised learning）相对 ^[1]。监督训练会给每个样本配上一个目标答案；无监督训练只给样本本身，模型捕捉到的结构必须从数据里来。

怎么工作

这一框架下的工作大致分为几类任务：聚类（clustering）、降维（dimensionality reduction）、密度估计（density estimation）、异常检测（anomaly detection）、潜变量模型（latent variable models）与生成建模（generative modelling）^[1]。聚类把相似的样本归到一起；降维把许多测量变量换成更少的几个；密度估计与生成建模试图刻画数据是怎样产生的；异常检测则挑出不符合既有模式的样本。

一个小例子可以把场景说具体。假设有一张表，每一行是一个对象，每一列是一项测量值，完全没有答案列。聚类方法读入这些行，为每一行给出一个组号。分组结果就是输出，而数据本身不会说明这个分组是否正确。

从哪来

早期形态来自统计物理。W. A. Little 在 1974 年提出一个认知的伊辛模型（Ising model），这是无监督学习的早期表述 ^[1]。John Hopfield 在 1982 年把伊辛模型的一个变体描述为霍普菲尔德网络（Hopfield network）^[1]。1983 年 Hinton 与 Sejnowski 提出玻尔兹曼机（Boltzmann machine），一种概率神经网络 ^[1]；Paul Smolensky 在 1986 年发表和谐理论（Harmony Theory），其结构与受限玻尔兹曼机（restricted Boltzmann machine）相似 ^[1]。自编码器（autoencoder）大约在 1986 年出现，亥姆霍兹机（Helmholtz machine）由 Dayan 与 Hinton 在 1995 年提出 ^[1]。变分自编码器（variational autoencoder）则由 Kingma、Rezende 等人在 2013 年提出 ^[1]。按时间读下来，这条线从受物理启发的二值单元网络，一直走到用隐变量描述数据的概率模型。

今天用在哪里

在软件库里，无标签数据的聚类被当作最典型的无监督任务：scikit-learn 就是这么写的，并把它放在 sklearn.cluster 模块中 ^[2]。库里的每个聚类算法都有两种形式——一个实现了 fit 的类，在训练数据上学习簇；以及一个函数，直接返回训练数据的整数标签 ^[2]。因此使用者既可以走类的接口，也可以直接调用函数拿到标签。

局限

训练是反复出现的难点。玻尔兹曼机因为存在横向连接而很难训练，达到平衡需要很多次迭代 ^[1]。期望最大化（expectation-maximisation）是一种常用的拟合方法，但它可能卡在局部最优，并不保证收敛到真实参数 ^[1]。另外，既然数据没有标签，就没有一份标准答案可以用来对照，方法给出的结构只能就事论事地判断。