Hopfield 网络

是什么

Hopfield 网络是一种循环神经网络（recurrent neural network），也可以被描述为自旋玻璃（spin glass）系统，能够充当内容寻址记忆（content-addressable memory）^[1]。两者的区别值得说清楚：普通计算机存储按地址读取，而内容寻址记忆按内容读取——你给网络一部分线索，它还你完整的记忆内容。

这个模型得名于 John Hopfield，他 1982 年的论文把统计力学方法用于研究使用二值激活函数的网络^[1]。

怎么工作

最初的模型里，单元取二值激活值；1984 年 Hopfield 又把模型推广到连续激活函数^[1]。模式用赫布学习（Hebbian learning）算法存入，训练过的网络能够从失真的输入中恢复出已存的状态^[1]。

回忆不是靠查表，而是靠动力学。做法是固定一部分输入，让网络自行演化，使能量函数（energy function）下降，最终趋向对应于已存模式的局部极小值^[1]。权重对称这一约束保证了在给定激活规则下能量函数单调下降^[1]，所以状态不会在状态空间里乱走，而是一路「下坡」。

可以把网络的状态想象成能量地形上的一个点，地形里的谷底就是存进去的模式。给它一个被涂改过的输入——也就是已存模式的某个副本，其中一部分单元被翻转成了错误的值——这个点就落在某面斜坡上，下坡运动把它带进最近的那个谷底。1982 年论文的摘要换了一种说法表达同一件事：模型产生的是一种内容寻址记忆，只要给出足够大的任意一部分，就能正确地输出整段记忆；而时间演化所用的算法基于异步并行处理^[2]。

从哪来

这篇论文题为「Neural networks and physical systems with emergent collective computational abilities」，发表在《Proceedings of the National Academy of Sciences》第 79 卷第 8 期，第 2554–2558 页^[1]。加州理工的机构库记录给出同样的卷、期和页码，并记载文章由 John J. Hopfield 于 1982 年 1 月 15 日提交^[3]；该记录还说明，在加州理工学院完成的工作部分由国家科学基金会 DMR-8107494 号经费支持^[3]。PubMed 将这篇论文收录在 Proc Natl Acad Sci U S A 1982 年 4 月刊，PMID 为 6953413，DOI 为 10.1073/pnas.79.8.2554^[2]。

摘要交代了背后的主张：计算性质可以作为集体性质，从由大量简单而等价的部件构成的系统中涌现出来；摘要还借助系统状态在相空间中的流动，来描述内容寻址记忆的物理含义^[2]。

按 Wikipedia 的说法，这个模型此后成为通过统计力学研究神经网络的标准模型^[1]。

用在哪里

1985 年，Hopfield 与 Tank 给出了这一网络求解旅行商问题（travelling-salesman problem）的应用，此后它被广泛用于各类优化问题^[1]。

2024 年，John J. Hopfield 与 Geoffrey E. Hinton 因对机器学习的基础性贡献（例如 Hopfield 网络）而获得诺贝尔物理学奖^[1]。

局限

经典 Hopfield 网络在今天的主流机器学习中已很少使用，Wikipedia 列出的原因有三条：神经元取二值、可扩展性有限、与基于梯度的学习方式不兼容^[1]。因此它的重要性既是实用的，也是概念上的：它让人可以把一群简单单元组成的网络当作一个带能量的物理系统来处理，并追问这样的系统究竟在计算什么。