支持向量网络

要解决的问题

这篇论文处理的是两类分类（two-group classification）问题：给定一个输入向量，学习机器要判断它属于两个组中的哪一个。Corinna Cortes 和 Vladimir Vapnik 在1995年9月于《Machine Learning》发表《Support-vector networks》时，两人都在新泽西州霍姆德尔（Holmdel）的 AT&T 贝尔实验室（AT&T Bell Labs）工作^[1]。论文摘要把支持向量网络（support-vector network）描述为一种用于两类分类问题的新学习机器^[1]。期刊记录该文于1993年5月15日收稿^[1]。文章发表在《Machine Learning》第20卷，第273-297页，DOI：10.1007/BF00994018^[1]。

怎么做的

核心做法是：把输入向量非线性地映射到一个非常高维的特征空间（feature space），再在这个空间里构造一个线性决策面（linear decision surface）^[1]。可以把它理解成先换一种表示，让原本在输入空间里不容易用直线或平面分开的样本，在一个更丰富的表示中变得可以用线性边界处理。论文称，这个决策面的特殊性质能够保证学习机器具有较高的泛化能力（generalization ability）^[1]。这里的泛化能力指的是对训练数据之外样本的表现，而不只是把训练样本拟合好。

论文还把早先的一个实现向前推进了一步。早先的实现只限于训练数据完全可分（perfectly separable）的情形；这篇论文把它扩展到训练数据非可分（non-separable）的情形^[1]。完全可分意味着两类样本可以被所选决策面没有错误地分开；非可分则不再要求这种理想条件。这个扩展使方法不再只适用于理想化的数据。

结果

论文使用多项式输入变换（polynomial input transformations）展示了较高的泛化能力^[1]。它把支持向量网络与经典算法进行比较；这些经典算法都参加了同一项光学字符识别（Optical Character Recognition, OCR）基准研究^[1]。基准研究把新学习机器放到一个共同的识别任务上，与已有方法一起比较。

为什么重要

这篇论文的核心贡献可以概括为一个完整的分类框架：先用非线性映射把输入送到非常高维的特征空间，再在该空间构造线性决策面，并用决策面的特殊性质说明泛化能力^[1]。它把讨论从训练数据完全可分的受限情形，推进到非可分情形^[1]。它还用多项式输入变换展示泛化表现，并在 OCR 基准中与经典算法比较^[1]。这些要素合在一起，使论文成为理解这一类两类分类方法的一份紧凑文本：改变表示、在高维空间做线性分离、用泛化能力和基准比较来判断效果。

发表信息

《Support-vector networks》于1995年9月发表在《Machine Learning》，第20卷，第273-297页，DOI：10.1007/BF00994018^[1]。期刊记录收稿日期为1993年5月15日^[1]。论文写作时，两位作者都在新泽西州霍姆德尔的 AT&T 贝尔实验室工作^[1]。