字节跳动发布 UI-TARS-2

背景

UI-TARS-2 是字节跳动 Seed 团队图形界面智能体系列的新一代模型，承接 UI-TARS-1.5。图形界面智能体通过屏幕来操作软件，每一步都要先读取屏幕上的内容，再决定点击、按键还是滚动。训练这类智能体是一个多步骤问题：前面的操作会影响后面的每一步。

发生了什么

2025 年 9 月 2 日，字节跳动 Seed 团队把 UI-TARS-2 技术报告发布到 arXiv；9 月 4 日，团队在 GitHub 上公布了此次发布。^[1][2]

该模型采用多轮强化学习（multi-turn reinforcement learning）训练。这种方法不是只对每一步打分，而是根据一整段操作序列的结果给予奖励或惩罚。作者把 UI-TARS-2 称为对 UI-TARS-1.5 的全面升级。^[1][2]

关键成绩

报告给出的成绩是：Online-Mind2Web 88.2 分，OSWorld 47.5 分，WindowsAgentArena 50.6 分，AndroidWorld 73.3 分。^[1]

在 15 款游戏中，模型达到了人类水平的约 60%，平均归一化得分为 59.8。^[1]

作者称，UI-TARS-2 在图形界面基准测试上的表现优于 Claude 和 OpenAI 的智能体。在 LMGame-Bench（一套基于游戏的基准）上，它的成绩与 OpenAI o3 相当。^[1]

强化学习是一种训练方法，模型根据行动获得的奖励学习，而不只是模仿正确答案。对于多步骤的智能体，奖励往往在任务结束时才给出，因此模型需要弄清哪些早期操作会通向成功。这比训练回答单个问题更难，因为某一步的错误会改变之后的全部过程。

影响

游戏类测试与前面提到的桌面和安卓基准不同，它要求智能体在许多步骤中持续跟踪不断变化的场景。