机制可解释性（Mechanistic interpretability）

是什么

机制可解释性（mechanistic interpretability）试图通过找出产生行为的内部计算与特征来解释模型，而不是只从外部测试输入和输出^[1][2]。它关心的不是「给什么输入得到什么输出」本身，而是模型内部哪些部分在完成这项工作。分析的单位可以是一段计算，也可以是激活空间中的一个方向或一个特征。

问题：多义性与叠加

一个核心障碍是多义性（polysemanticity）：同一个神经元会同时参与许多不相关的概念。2022 年 9 月，Elhage 等人发表《Toy Models of Superposition》，专门讨论这一现象^[1]。论文构造了一个玩具模型，其中多义性之所以出现，是因为模型把额外的稀疏特征以叠加（superposition）的方式存了进去^[1]。该论文展示了相变、与均匀多面体几何的联系，以及它与对抗样本存在联系的证据^[1]。玩具模型的价值在于把「多个特征挤在少量维度里」这件事变成可以分析的对象。

方法：用稀疏自编码器找特征

2023 年 10 月 4 日，Bricken 等人发表《Towards Monosemanticity》^[2]。他们把稀疏自编码器（sparse autoencoder）用在一个单层 Transformer 上；这个模型有一个 512 个神经元的多层感知机（MLP）层，并在 The Pile 的 1000 亿个词元（token）上训练^[2]。他们在 80 亿个 MLP 激活数据点上训练自编码器，扩展倍数从 1 倍（512 个特征）到 256 倍（131072 个特征）^[2]。在他们的表述里，特征不是神经元，而是激活空间中的一个方向；这些特征方向就是解码器（decoder）权重矩阵的列^[2]。自编码器的训练目标是 L2 重建损失，加上对隐藏层激活的 L1 惩罚项，以鼓励稀疏^[2]。可以这样理解：L2 项要求自编码器把原来的激活重建出来，L1 项则让隐藏层同时只使用少量单元；这样学到的方向更可能对应可解释的特征。

结果与例子

作者报告，大多数学到的特征是可解释的^[2]。有一个希伯来文字（Hebrew script）特征，在任何神经元激活最强的数据集样本中都不活跃^[2]。当他们激活一个 base64 特征时，模型生成了 base64 文本^[2]。他们还报告，512 个神经元可以表示数万个特征；随着字典变大，特征会分裂成更细、但仍可解释的族^[2]。这些例子说明，特征和神经元不是一回事：一个特征可以在模型激活中存在，却不等于某个神经元的顶级样本；直接激活它，又可以让模型行为发生具体变化^[2]。

意义与局限

2023 年的作者把这项工作描述为一种存在性证明：可解释特征可以从叠加中提取出来^[2]。对机制可解释性来说，这提供了一条从神经元层面走向特征层面的路径，也提供了一种通过激活特征来检验它的方法^[2]。2022 年的玩具模型则让人可以研究特征为什么会被挤在一起^[1]。两条工作线把多义性这一概念问题，与字典学习方法和特征干预连接了起来^[1][2]。但作者也表示，他们仍不确定模型是否从根本上由特征组成^[2]。他们把这件工作视为存在性证明，而不是对某个模型的完整分解^[2]；2022 年的论文本身也明确是玩具模型^[1]。因此，这些结果说明：在他们研究的设定里，可解释特征可以被提取和操纵；至于这幅图景能推广多远，仍然是一个开放问题^[1][2]。