Anthropic 发布《Mapping the Mind of a Large Language Model》

背景

大语言模型内部是一大堆数字：处理输入时在各层之间流动的激活值，以及连接这些层的权重。可解释性（interpretability）研究想弄清楚，这些数字能否被读出意义——研究者能不能指着计算过程中的某一部分，说清它代表什么。长期存在的困难之一是，单个神经元往往对互不相关的多种输入都有反应，逐个神经元去看，得到的图像是混杂的。于是研究者转向另一类方法：不盯着单个单元，而是在大量激活值中寻找结构。

发生了什么

2024年5月21日，Anthropic 发布题为《Mapping the Mind of a Large Language Model》的文章^[1]。文章介绍了用字典学习（dictionary learning）在 Claude 3 Sonnet 内部标出数百万个概念的工作，公司把这些概念称为特征（feature）^[1]。Anthropic 表示，研究者通过这种方法在该模型的「心智」中找到了数百万个概念^[1]。这项工作的完整论文《Scaling Monosemanticity》发表在 Transformer Circuits 上^[1]。

字典学习是这套方法的技术核心。它把模型处理文本时记录下来的大量激活模式作为输入，寻找一组可重复使用的方向（可以理解为一本「词典」），使得任何一个激活模式都能由其中少数几个方向组合描述出来。每个方向随后被当作一个候选特征，也就是某个概念对应的激活模式。这样做的意义在于：一个特征原则上可以被命名、被观察、被改动，而对一个因许多不同原因而活跃的原始神经元来说，这要困难得多。

关键细节：金门大桥特征

为了让结果具体可见，Anthropic 说研究识别出一个在出现金门大桥（Golden Gate Bridge）的文字和图像时被激活的特征^[1]。公司通过把该特征（编号 34M/31164353）钳制（clamp）到其最大激活值的 10 倍来演示这一点^[1]。钳制指的是人为把某个特征的数值固定下来，覆盖模型原本会产生的值，让网络其余部分对这个值作出反应。这是一种证明方式：它说明该特征不只是与概念在数据中相关，而是把它打开就会改变模型的行为。

为什么重要

这类工作受到关注，很大程度上出于安全考虑。Anthropic 表示，这项技术有可能被用于与安全相关的特征，例如与危险代码、犯罪活动、欺骗有关的特征，从而帮助让 AI 模型更安全^[1]。这一期待背后的推理很直白：如果像欺骗这样的概念能在模型的激活值中被定位成一个独立方向，就可能在该方向活跃时进行监测，或者对它作出调整。找到特征只是第一步，在它之上搭建可靠的工具则是另一个问题。

从公开内容看，这项工作更像一次规模上的演示。可解释性技术常常在小模型或玩具任务上开发，研究者可以手工核对结果；而这里，同类方法被用在一个投入使用的模型上，产出了数百万个特征，其中一个可以被打开，并显示出对模型输出的影响。Anthropic 把利用特征层面的访问来服务安全表述为一种可能，而不是已经完成的能力^[1]，正是金门大桥特征的演示让这种可能变得足够具体，可以被讨论和检验。

这个演示说明了什么

一个对地标作出反应的特征是被刻意选得易于理解、读者也容易核对的例子：好描述、好触发，看一眼模型的行为就能确认。它的价值在于把一个抽象主张——模型的内部活动可以被拆解成有名字的概念——变成了看得见的东西。更困难的问题则留待后续：同一套处理方式能在多大程度上覆盖抽象、少被表达、或与实验室真正关心的行为相关的概念。对于这一点，文章把安全方向作为未来工作的目标提出，而不是已经到手的结果^[1]。