正则化

是什么

正则化（regularization）是把一个问题的答案变得更简单的过程。^[1] 它对应两类密切相关的用途：一是让不适定问题（ill-posed problem）变得可解——单靠数据无法确定稳定答案的问题，可以通过加入「偏好简单」的约束而变得良态；二是防止过拟合（overfitting），即模型把训练数据拟合得过紧、以至于不再具有泛化能力的失效情形。这一思想出现在数学、统计学、金融和计算机科学中，在机器学习和反问题（inverse problem）里尤其核心。^[1]

怎么工作

写法上，正则化就是在目标函数里多加一项。不是只最小化模型对数据的拟合误差，而是最小化「数据拟合项 + 惩罚项 λR(f)」，其中 λ 决定惩罚占多大分量。^[1] λ 越大，越偏向简单模型，相当于先验更强；λ 越小，越贴近数据。这个取舍可以看作奥卡姆剃刀（Occam's razor）的一种操作化。^[1]

一个具体的图景：用一条曲线去穿一串带噪声的测量点。足够灵活的曲线可以把每个点都穿过，但点与点之间会剧烈摆动，用来预测新点会很差。对曲线系数的幅度加惩罚，会把它拉向更平滑的形状——接受在已测点上略差的拟合，换取在其他位置更稳的表现。

惩罚项选什么，决定了不同的方法。惩罚参数的平方大小是 L2 正则化，即岭回归（ridge regression）；岭回归明确是一个有偏估计：它以引入偏差为代价换取方差的下降。^[1] 惩罚参数的绝对值大小则是 L1 正则化，即 lasso。

Google 的机器学习资料把 L2 正则化描述为通过惩罚大权重来降低模型复杂度、防止过拟合的技术，并用正则化率（regularization rate）lambda 控制强度：值越大模型越简单，值越小过拟合风险越高。^[3] 同一份资料把早停（early stopping）列为另一种正则化手段——在模型完全收敛之前结束训练；^[3] 正则化也与早停、剪枝（pruning）、dropout 一起，被列为减少过拟合的常用技术。^[2]

从哪来

岭回归的名字来自 Andrey Nikolayevich Tikhonov，他把正则化用于积分方程。^[1] 在统计学里，岭估计与 Arthur E. Hoerl 和 Robert W. Kennard 的工作联系在一起，他们的论文《Ridge regression: Biased estimation for nonorthogonal problems》于 1970 年发表在 Technometrics 上。^[1] lasso，也就是 L1 正则化，由 Robert Tibshirani 于 1996 年在 Journal of the Royal Statistical Society Series B 上提出。^[1]

局限

这一族方法也有麻烦。L1 正则化可能产生不唯一的解，这促成了把 L1 与 L2 惩罚结合起来的弹性网络（elastic net）。^[1] 直接惩罚非零参数个数的 L0 正则化是 NP 难的，Natarajan 在 1995 年证明了这一点。^[1] 而且每种版本都要做同一笔交易：惩罚强度必须选定，选得不合适，要么过拟合仍在，要么把有用的信号压掉。