Meena

Meena 是什么

Meena 是 Google 的开放域（open-domain）聊天机器人，出自论文《Towards a Human-like Open-Domain Chatbot》，该论文于 2020 年 1 月 27 日发布到 arXiv。作者为 Daniel Adiwardana、Minh-Thang Luong、David R. So、Jamie Hall、Noah Fiedel 以及另外六位合作者，Quoc V. Le 也在十一位作者之列^[1]。模型是一个 26 亿参数的神经网络对话模型，端到端训练，论文把它描述为支持多轮的开放域聊天机器人^[1]。

这三个限定词决定了它的定位。「开放域」意味着对话不被限定在订机票之类的固定任务里，用户可以聊几乎任何话题；「多轮」意味着评判的是几个来回的整体表现，而不是孤立的一句回复；「端到端」意味着由一个网络直接根据此前的对话生成下一句回复，而不是把若干人工搭建的模块串成流水线。

由来

Meena 由 Google Brain 团队开发，后来更名为 LaMDA^[2]。

怎么训练

训练信号很朴素：模型只被要求最小化下一个词元的困惑度（perplexity）^[1]。困惑度是衡量语言模型对下一段文本「有多意外」的常用指标，大致可以理解为模型把概率分散在了多少个可能的续写上；困惑度低，说明模型给真实出现的那个词元分配了较高的概率。以这个目标训练，多轮对话就被化简为在对话文本上做下一词元预测。

训练数据是从公有领域的社交媒体对话中挖掘并过滤出来的^[1]。过滤这一步重要到在结果里单独占一项：表现最好的配置，是在同一个底层模型之上，同时使用过滤后的训练数据和调优过的解码策略。

怎么评测：SSA

聊天机器人可以很流畅，同时空洞或前后不搭，因此作者提出了一整套人工评测指标——理智与具体性平均值（Sensibleness and Specificity Average，SSA），用来捕捉类人多轮对话的关键要素^[1]。这个名字指向它评的两件事：回复在上下文中是否讲得通，以及它是否针对当前语境，而不是放在任何对话后面都成立的泛泛之词。

结果

在这个指标上，纯端到端的最佳 Meena 得到 72% 的 SSA；加入数据过滤与解码调优的完整版本得到 79%，作者称这比他们评测过的现有聊天机器人在绝对 SSA 上高出 23%^[1]。

更值得注意的发现是训练目标与人类判断之间的联系。作者报告困惑度与 SSA 之间存在很强的相关性，并认为人类水平的 86% SSA 是有可能达到的^[1]；他们明确表示，如果困惑度能被更好地优化，这一水平是有望实现的^[1]。若这一点成立，评估一个对话模型在某种程度上就变成了衡量它预测文本的能力，而这比每一轮迭代都请人打分便宜得多。

在发展中的位置

这篇论文的论点很窄，但可以检验：下一词元困惑度这一个数字，能追踪模型的对话被人类判定为多像人，因此把困惑度压下去是改进对话的一条可行路径。它同时给这个自动指标难以取信的任务提供了一套人工评测协议 SSA，并给出了与其他系统对比的分数。Meena 这个名字没有留下来，这条工作线后来以 LaMDA 之名继续^[2]。