人工神经网络

是什么

人工神经网络（artificial neural network）是由许多简单的相连单元组成的计算系统，这些单元通常称为神经元。每个单元汇总从其他单元传来的信号，再输出一个结果。整个网络的行为，则由单元之间连接的强弱，即权重（weight），共同决定。

怎么工作

用一个小例子来理解：假设一个单元有两路输入，它把每一路输入乘以各自的权重，再把结果加起来，只有总和超过某个阈值时才输出信号。改变某一路的权重，就改变了这个单元对哪些输入作出反应。例如，可以把一个单元设置成「第一路有信号、第二路没有信号时才响应」。网络由许多这样的单元分层组合而成，整体行为取决于所有权重的共同作用。学习，就是不断调整这些权重，让输出更多地符合期望的答案。

从哪来

这一思路始于1943年。沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）提出了一个「全或无」神经元的数学模型：只有足够多的兴奋性输入活跃，且没有抑制性输入活跃时，它才放电。由这种单元组成的网络可以实现命题逻辑。两位作者还论证，配有纸带和扫描器的此类网络，能够计算与图灵机相同的数。但他们的分析假定网络结构不随时间变化，因此并没有给出学习的方法。^[1]

学习能力则来自弗兰克·罗森布拉特的感知机，该成果于1958年发表在《心理学评论》（Psychological Review）上。它由感觉单元组成的视网膜把信号送给联想单元，联想单元再送给响应单元；连接的数值在训练中不断改变，因此系统能通过试错学会对刺激分类。^[2]

1958年7月，美国海军研究办公室资助了一次演示：在IBM 704计算机上模拟的感知机，经过50次尝试后，学会了区分左侧有标记的卡片和右侧有标记的卡片。^[3]

随后出现了硬件。Mark I Perceptron是1960年前后完成的、专为图像识别定制的硬件，它的输入来自一个20×20的硫化镉光电元件阵列，共400个像素。可调的权重存放在电位器中，学习时由电动机转动。这台机器现藏于史密森学会（Smithsonian Institution）。^[4]

今天用在哪里

今天的神经网络规模大得多，通常由许多层单元组成，并用大量数据训练，在图像识别、语音和语言处理等任务中被广泛使用。带有一层或多层隐藏层的网络，即多层感知机（multilayer perceptron），比单层模型强大得多。沿着这类网络继续发展的研究路线，最终形成了今天的深度学习。^[4]

局限

单层感知机只能学习线性可分的模式。例如，它无法计算异或（XOR，即exclusive-or，两个输入中恰好有一个为真时输出为真）这样的函数。1969年明斯基与派珀特出版的《感知机》分析了这些局限，此后神经网络研究的经费与兴趣经历了一段漫长的低潮，直到1980年代才重新兴起。^[4]