谷歌发布聊天机器人 Meena 研究

一篇2020年1月发布的聊天机器人论文

2020年1月27日，一组谷歌研究人员发布了题为《Towards a Human-like Open-Domain Chatbot》的论文，介绍了一个叫 Meena 的聊天机器人^[1]。聊天机器人（chatbot）是能与人用文字对话的程序；「开放域」（open-domain）指的是对话不被限制在订机票这类单一任务上，用户可以随时把话题带到任何地方。Meena 是一个26亿参数（parameter）的神经网络，训练数据是公有领域的社交媒体对话^[1]。参数是神经网络在训练中学会调节的数值，参数量大致反映模型能从训练文本中吸收多少东西。

给对话打分的新办法

评价一段对话比评价一句翻译难得多。一句回复既要在上下文里讲得通，也要真的说了点什么——像「我不知道」这种安全而笼统的话，合理但没用。论文围绕这两个要求提出了一个指标，叫「合理性与具体性平均分」（Sensibleness and Specificity Average，SSA）^[1]。完整的 Meena 在该指标上得分79%^[1]。作者称，这比他们测试过的现有聊天机器人在 SSA 上绝对高出23%^[1]。因为比较用的是绝对百分点而非倍数，这个差距指的是 Meena 的得分与其他系统在同一尺度上的得分之差。

困惑度作为预测指标

作者报告称，困惑度（perplexity）与 SSA 之间存在很强的相关性^[1]。困惑度是衡量语言模型预测文本能力的常用指标：数值越低，模型对下一个遇到的词就越不感到意外。一个在日常对话上困惑度低的模型，是那种觉得人的措辞方式可预测、而非古怪的模型。两者强相关意味着：一个廉价的自动数值——不需要任何人读一句回复就能算出的困惑度——与昂贵的人工判断（回复是否合理、是否具体）走势一致。这让困惑度可以用来在候选模型之间做粗略筛选，而 SSA 仍然是衡量用户实际得到什么的指标。

修订与作者

论文的修订版于2020年2月27日发布^[1]。作者包括 Quoc V. Le、Romal Thoppilan 和 Daniel Adiwardana^[1]。

为什么重要

这篇论文的贡献有两方面。它把一个训练好的大型对话模型连同其规模与训练来源一起摆到读者面前，并提供了一种给对话质量打分的办法，把「这句回复讲不讲得通」和「这句回复有没有内容」区分开来^[1]。聊天机器人演示起来容易，衡量起来难；有了共同的指标，一个系统才能和另一个系统放在同一把尺子上比较，而论文报告的23个百分点的绝对差距正是这样的比较^[1]。困惑度与 SSA 的联系是另一个实用的部分：它提示对话模型评估工作的一部分可以自动完成，剩下的仍然需要人来读输出、做判断。