越狱（Jailbreak）

什么是越狱

越狱（jailbreak）指用对抗性提示，让经过安全训练的模型做出其训练本应阻止的行为。^[1] 这里的重点不是模型答错题或能力不足，而是输入被刻意设计，用来绕过模型已有的安全限制。被攻击的对象，通常是已经接受过安全训练、本应拒绝某些输出的模型。

这一点重要，是因为安全训练常被当作可以加在强模型上的一层保护。越狱说明，这层保护在面对专门构造的输入时可能失效。

两种失效模式

2023 年 7 月，Wei 等人发表了一篇分析，讨论这类攻击为什么能够成功。他们指出，为安全和无害性训练过的大语言模型，仍然容易受到对抗性滥用。^[1] 他们没有把每种攻击都当成孤立的技巧，而是提出安全训练的两种失效模式：目标冲突（competing objectives）与泛化不匹配（mismatched generalization）。^[1]

目标冲突，指模型的能力目标与安全目标发生冲突。^[1] 例如，一个被训练得乐于助人的模型，可能把某个请求理解成一项正当任务而照做，即使内容本身有害；乐于助人的目标与安全目标在这里方向不一致。这是一种关于安全训练为何被绕过的假设，不是说模型内部真的只有一条明确目标。

泛化不匹配，指安全训练没有泛化到模型本身具有能力的领域。^[1] 安全训练可能覆盖某些格式、语言或风格，而模型的通用能力远不止这些。于是，一个看起来不像安全训练数据的输入，就可能触达训练本来想抑制的行为。

如何检验

作者用这两种失效模式指导设计新的攻击，并在包括 GPT-4 和 Claude v1.3 在内的当时先进模型上，测试已有攻击和新设计的攻击。^[1] 他们发现，尽管这些模型背后有大量红队测试（red-teaming）和安全训练，漏洞依然存在。^[1]

基于两种失效模式构造的新攻击，在从模型自身红队评估集中取出的一组不安全请求上，对每一条提示都成功了，并且优于现有的临时性越狱方法。^[1] 这个结果之所以重要，是因为测试用的提示来自模型自己的评估材料，而不是一小批手写的例子。

为什么重要

论文主张“安全与能力对等”（safety-capability parity），即安全机制应当和底层模型一样精细。^[1] 论文也反对“只靠扩大规模就能解决这些失败”的看法。^[1] 换句话说，更大、更强的模型不会自动带来更稳健的安全训练；安全一侧必须跟上能力一侧。

对读者来说，越狱这个概念提醒我们，安全训练不是一次性的修补。越狱研究是对抗性的：攻击者会专门寻找模型能力与安全训练覆盖范围之间的缝隙。两种失效模式提供了一种组织这种搜索的方式，也指出了所需防御的方向——安全机制要能像模型能力一样广泛泛化，并且在目标冲突时不会轻易崩溃。^[1]