《神经网络与具有涌现集体计算能力的物理系统》

论文要解决的问题

《神经网络与具有涌现集体计算能力的物理系统》（Neural networks and physical systems with emergent collective computational abilities）是 John J. Hopfield 的论文，发表在《美国国家科学院院刊》（Proceedings of the National Academy of Sciences）第 79 卷第 8 期，1982 年 4 月，页码 2554 至 2558^[1]。其 DOI 为 10.1073/pnas.79.8.2554，PMC 编号为 PMC346238，PMID 为 6953413^[2]。

论文不是从某个具体的工程难题出发，而是从一个一般性的主张出发。摘要认为：对生物体有用、或者对建造计算机有用的计算性质，可以作为集体性质（collective properties）从由大量简单且彼此等价的元件（摘要中称为神经元）组成的系统中涌现出来^[1]。因此，真正值得关注的单位不是单个元件，而是元件的集合。在这个框架里，一个元件本身不需要「聪明」，重要的是它有多少同伴、以及它们如何彼此耦合。

模型是怎么做的

这个模型建立在神经生物学的某些方面之上，但摘要特别指出，它也很容易改造成集成电路^[1]。这种双重描述是有意为之：同一套要素，既可以被当作对神经组织的一种刻画，也可以被当作一份硬件设计。

模型中的记忆是内容寻址的（content-addressable），论文通过系统状态在相空间（phase space）中适当的流动，赋予它物理含义^[1]。这里结合了两个概念。内容寻址记忆指的是按内容而不是按位置取回的记忆：普通计算机内存返回某个编号地址上存放的东西，而内容寻址记忆是用一个模式去查询，返回与之相符的已存模式。相空间则是系统所有可能状态的集合；把记忆描述成相空间中的流动，就是说清一个状态如何一步步移向系统视作已存记忆的某个构型。

驱动这种移动的算法基于异步并行处理（asynchronous parallel processing）^[1]。所谓异步，指系统中的各个元件并不在同一时刻一起改变：更新发生在不同时刻、并行进行，而不是在单一全局时钟下齐步走。整体的动力学因此由许多小的、不同步的局部事件构成。

得到了什么结果

模型的集体性质产生了一种内容寻址记忆，它能够从足够大的任意局部片段正确给出完整的记忆^[1]。也就是说，只要给系统的片段足够大，它返回的就是整个已存模式，而不是这个片段本身。

除了回忆，摘要还列出了其他一些涌现出来的集体性质：一定的泛化能力、熟悉性识别、分类、纠错，以及时间序列的保持^[1]。这些通常需要专门设计的算法才能完成，而在这里，它们被当作简单单元集体行为的副产物。

摘要还给出了一个稳健性判断：这些集体性质对建模细节、以及对单个器件的失效都只有很弱的敏感性^[1]。

为什么重要

这篇论文的主张关乎描述层次。如果计算性质属于集体，那么摘要明确点出了两个后果。第一，生物学上的合理性与工程上的可用性并不互相排斥：一套取自神经生物学的描述可以迁移到集成电路上^[1]。第二，可靠性不必靠逐个元件去换取。一个集体行为对建模细节和单个器件失效都只有很弱敏感性的系统，可以容忍其组成部分的不精确^[1]。因此，这篇论文与其说是在报告某一台具体的机器，不如说是在论证：这样一类机器——大量简单的等价单元、异步更新、按内容寻址的回忆——对生物学家和电路设计者来说都是值得研究的对象。