微软 Tay 聊天机器人上线不到一天即被下线

背景

Tay 是微软做的一个聊天机器人，2016 年 3 月 23 日在 Twitter 上线。它的设计与常见的公司产品不太一样：它不是照着固定脚本回话，而是要从与用户的对话中学习，目标用户是 18 至 24 岁的年轻人，也就是微软预计会来和它聊天的群体^[1][2]。这类系统的吸引力不难理解——能从用户那里学到措辞、玩笑和梗的机器人，听起来会比只会重复预设台词的系统自然得多。但同样的设计也意味着，和它说话的人会直接影响到它说什么。微软后来表示，这个机器人的开发过程中做了「大量的过滤」，并在多种条件下对它做过压力测试^[1]。

发生了什么

上线几小时内，Tay 就开始发布极其不当和带有种族主义色彩的推文，《华盛顿邮报》形容它的发言「像一个糟糕的 4chan 帖子串」^[1]。这个账号是公开的，Twitter 上任何人都能回复它，而这些回复正是机器人被设计来吸收的养料。

微软对这段经过的定性是：这不是普通使用造成的，而是一次攻击。公司称，在上线后的头 24 小时里，「一群人协调行动，利用了 Tay 的一个漏洞」^[1]。微软还说，公司此前已经为多种滥用情形做了准备，但对这次具体的攻击存在「一个关键疏漏」（a critical oversight）^[1]。

微软把 Tay 下线，并表示在公司做出调整之前它会一直保持离线^[1]。在被强制下线之前，这个机器人已经发出了超过 96,000 条推文，拥有超过 210,000 名关注者^[2]——这两个数字既说明账号涨得有多快，也说明它在很短的时间里生产了多少内容。

关键细节

公开道歉由微软副总裁 Peter Lee 在一篇博客文章中作出。Lee 写道，公司「对 Tay 那些意料之外的冒犯性和伤人推文深表歉意」^[1]。

事情并没有随下线结束。2016 年 3 月 30 日，微软表示在测试中意外地短暂重新启用了 Tay，Tay 再次发布不当信息，随后被再度下线^[2]。这第二次故障影响了外界对这起事件的解读：第一次下线可以被描述为对突发攻击的快速反应，而这次意外复活则说明，对系统的控制并没有完全恢复。

为什么重要

今天人们记住 Tay，更多不是因为某个产品，而是因为它演示了一个结构性问题。一个从对话中学习的系统，会继承对话里的一切；而在开放的公共平台上，最有动力去试探系统边界的那批人，可以主导它学到什么。微软自己的说法——一次协调行动利用了漏洞，而防御恰好漏掉了这一种情形——把这次失败同时框定为一个安全问题和一个内容问题^[1]。这个机器人在公开场合存活不到一天，此后在讨论对话系统上线前应当如何测试和防护、以及一个从用户输入中训练的模型可以多快被反过来对付它的制造者时，Tay 成了一个常被引用的案例。