Gato

Gato 是什么

Gato 是 DeepMind 提出的通用智能体（generalist agent），于 2022 年 5 月 12 日公布。^[1] 它的核心做法是用同一个网络处理多种任务，而不是为每一类任务分别建立专用系统。随公告提交到 arXiv 的论文把 Gato 描述为多任务、多具身（multi-task, multi-embodiment）的通用策略（generalist policy）。^[2] 这里的多任务指模型面对许多不同任务，多具身指同一个模型要作用于不同的身体或环境。关键主张是：同一套权重可以服务这些不同场景。^[1]

怎么工作

训练时，来自不同任务和模态（modality）的数据会被序列化成一条扁平的词元（token）序列。^[1] 词元是网络读写的小单位。Gato 不把文本、图像、游戏和机器人控制分成彼此独立的流水线，而是把这些数据转成同一种序列形式，让一个训练流程可以接触混合的数据。^[1] 这样做的目的，是让一个序列模型在异质数据上学习，而不是为每个领域单独设计输入输出接口。^[1]

行动时，输出格式也由词元决定。论文说，Gato 会根据上下文决定输出文本、关节力矩（joint torques）、按键动作还是其他词元。^[2] 上下文指模型收到的输入和当前任务。也就是说，模型不必只生成词语；在不同场景里，它生成的下一批词元可以表示语言，也可以表示机器人控制命令或游戏操作。同一个网络因此能跨模态、跨具身使用。^[1]

能做什么

DeepMind 给出的例子包括玩 Atari 游戏、为图像生成说明文字、聊天，以及用真实机械臂堆叠积木。^[1] 这些任务分别涉及视觉、语言、游戏和机器人操作，差别很大。它们让通用性主张变得具体：同一个网络、同一套权重被用于这些不同任务和具身形态。^[1]

评估方式

DeepMind 按领域统计了 Gato 在多少个任务上超过不同百分比的专家得分。^[1] 这种图表给出的不是单一总分，而是按领域分布的结果：在每个领域中，有多少任务越过了相对于专家表现设定的若干门槛。论文把系统放在通用策略的框架下讨论，而不是把它当作只服务一个基准的窄模型。^[2]

为什么重要

Gato 的重要性在于它把几件事放在一起尝试。同一个网络、同一套权重可以处理不同模态和不同具身形态的任务。^[1] 语言、图像说明、Atari 游戏和真实机械臂堆叠积木因此被当作同一个训练与行动问题的不同部分，而不是互不相干的应用。论文用多任务、多具身通用策略来概括这一目标。^[2]

Gato 也说明了词元接口对通用智能体的意义。如果许多领域的观察和动作都能表示成词元，那么一个序列模型就有可能根据上下文决定输出哪一类内容。^[2] Gato 是这一设计思路的一次公开演示：2022 年公布的通用智能体，用同一个网络和同一套权重覆盖不同任务、模态与具身形态。^[1]