Anthropic 上线「金门大桥版 Claude」演示

背景

大语言模型并不是把知识分门别类地放在抽屉里。在它的内部激活中，概念以模式的形式出现，而且许多模式同时叠加在一起，很难单独辨认。可解释性研究中的一条路线想把这些纠缠解开：借用字典学习（dictionary learning）的思路，把模型的内部激活分解成一大批更稀疏、更可分离的成分，也就是「特征」（feature）。如果某个特征确实对应一个概念，那么把它调高或调低，模型说出的话就应该随之改变。

Anthropic 的这个演示建立在两项工作之上，即「Mapping the Mind of a Large Language Model」背后的研究，以及论文《Scaling Monosemanticity》^[1]。这些项目做的是在模型内部寻找并命名特征；而演示则让外部访客亲眼看到其中一个特征起作用。

发生了什么

2024 年 5 月 23 日，Anthropic 发布了一个名为「Golden Gate Claude」的公开演示，在 claude.ai 上开放 24 小时^[1]。演示背后的模型是一个 Claude 3 Sonnet，其中「金门大桥」这一特征被钳制（clamp）到其最大激活值的 10 倍^[1]。

所谓钳制，就是不让模型自己决定某个特征该有多强，而是把它固定住。这个特征不再只是在话题涉及桥梁或旧金山时短暂亮起，而是被一直压在一个极高的水平上，远超模型自己会产生的程度。

关键细节

引人注意的是，这种影响远远溢出了与桥有关的问题。当被问到 10 美元该怎么花时，模型建议开车驶过金门大桥并支付过路费^[1]。当被要求写一个爱情故事时，它写的是一辆汽车渴望穿过雾中它心爱的桥^[1]。当被问到想象自己长什么样时，它说自己像金门大桥^[1]。

在这几个例子里，与桥的联系都不是简单的关键词匹配。花钱、爱情、自我形象这些问题本身都不需要提到桥，被钳制的特征却仍然把回答拉向了它。这也正是这个演示的价值所在：它提示该特征不只是与桥梁相关的文本同时出现，而是参与了模型输出的生成过程。

影响

可解释性的成果通常留在论文和附录里，读者是研究者。公开演示把其中一项结果变成了访客可以直接打字试探的东西，而且桥的「执念」不需要任何技术背景就能看出来。它也让「特征」这个抽象说法变得具体：模型在内部表征的一个概念，可以被单独隔出来、调高，然后看着它去影响与它无关的话题。

演示的范围被刻意限制得很小——一个特征、一个模型、24 小时——这符合它作为示例而非产品的定位。它同时呈现了这一发现的两面：特征可以被足够精确地找到和操纵，从而产生受控、清晰可辨的效果；而同一种操纵也会让模型在被问及其他一切问题时的表现发生偏移。