《具有涌现集体计算能力的神经网络与物理系统》

论文要回答的问题

记忆通常被想象成存放在某个特定位置的东西：要取出来，先得知道它在哪儿。这篇论文问的是另一个问题：如果把大量非常简单的单元互相连接起来，它们的集体行为本身能不能产生记忆，甚至产生某种计算？这正是物理学处理集体现象的方式——单个分子本身没有什么意思，大量分子聚在一起才出现新的性质。

大量简单单元组成的一个系统

论文描述的模型由大量简单且彼此等价的元件（称为神经元）构成。它的设计参考了神经生物学的某些方面，但被说明为很容易改造成集成电路（integrated circuits）^[1]。也就是说，同样的网络原则上既可以用生物材料长出来，也可以用硬件搭出来。关键在于集体而不是个体：单元本身简单而等价，有意思的行为只在它们大量连接之后才出现。系统里没有一个专门的格子存放某段记忆，记忆是整个网络的性质^[1]。

按内容寻址的记忆

这个模型最引人注目的地方，是集体特性带来的那种记忆方式：内容寻址记忆（content-addressable memory）。这种记忆不靠地址取用——不需要先说出记忆存在哪里，只要给出记忆的任何一个足够大的片段，系统就会正确地给出完整的记忆^[1]。这与通常的计算机内存相反：后者要先知道位置，才能取回数据；前者则是给出内容的一部分，拿回剩下的部分。「足够大」这个限定很重要：片段太小或太模糊，就不足以把整段记忆确定下来。

相空间中的流动

论文用系统状态在相空间（phase space）中的流动来刻画这种记忆的物理含义^[1]。做法是不再逐个单元地描述网络，而是把整个网络在某一刻的活动看成高维状态空间里的一个点。随着网络演化，这个点在空间中移动，走出一条轨迹，这就是所谓的流。在这幅图像里，被记住的模式对应着流停下来的地方：从附近任一状态出发，系统最终都落到同一个稳定构型上。按这种看法，回忆不是在一张清单里逐条比对，而是一条自己走到终点的轨迹。

发表

论文于 1982 年 4 月发表在《美国国家科学院院刊》（Proceedings of the National Academy of Sciences）第 79 卷第 8 期，第 2554–2558 页^[1]。

后来

论文中提出的网络后来被称为霍普菲尔德网络（Hopfield network），它是一种带联想记忆（associative memory）的循环神经网络（recurrent neural network）^[1]。循环意味着单元之间互相反馈，而不是只把信号朝一个方向传下去，因此网络在某一刻的状态与它自己的过去有关。2024 年诺贝尔物理学奖授予约翰·霍普菲尔德与杰弗里·辛顿（Geoffrey Hinton），理由是「for foundational discoveries and inventions that enable machine learning with artificial neural networks」，即表彰使基于人工神经网络的机器学习成为可能的基础性发现与发明^[2]。这个 1982 年的模型，就是这些基础之一。