UI-TARS-1.5

会操作界面的模型

UI-TARS-1.5 是一个用来操作图形界面的模型：它先看屏幕上有什么，再决定接下来点哪里、输入什么、往哪里滚动。字节跳动 Seed 于 2025 年 4 月 16 日发布该模型，作为 UI-TARS 的后继版本^[1]。发布时同时给出了两个版本：较小的 UI-TARS-1.5-7B 直接开源，而性能最好的版本没有开放直接下载，改为通过研究用途申请获取^[1]。

开源的部分

开源版本以 Apache-2.0 协议发布^[1]。它的规模比同一系列此前的模型小得多，但成绩已经超过后者：UI-TARS-1.5-7B 在 OSWorld 上得分 27.5，高于初代 UI-TARS-72B-DPO 的 24.6^[1]。这一组对比说明了这一代模型的位置：同样的界面操作能力，可以用运行成本低得多的模型做到。

基准成绩

在 OSWorld 上，完整版模型报告的成绩是 100 步内 42.5 分。作为对照，OpenAI CUA 报告 36.4，Claude 3.7 报告 28；而该基准此前的最高成绩是 38.1，且是在 200 步内取得的^[1]。步数之所以重要，是因为完成同一个任务所需的交互越少，误差逐步累积的机会也越少。

在 AndroidWorld 上，模型报告 64.2 分，此前最好成绩为 59.5。在屏幕理解类基准上，它报告 ScreenSpot-V2 94.2 分、ScreenSpot-Pro 61.6 分；同一基准上 OpenAI CUA 为 23.4 分，Claude 3.7 为 27.7 分^[1]。字节跳动 Seed 的博客称，ScreenSpot-Pro 此前的最好成绩是 43.6%^[2]。

字节跳动 Seed 表示，UI-TARS-1.5 在 7 个 GUI 基准上达到最好水平^[2]。在公布的数字里，ScreenSpot-Pro 上的差距最醒目：这个基准考的是小而密集的界面元素，通用视觉模型往往在这里失手，而它相对 OpenAI CUA 与 Claude 3.7 的领先幅度很大^[1]。

用游戏做试验场

除了办公类界面，Seed 博客还称，在 Minecraft 的 Mine Blocks 和 Kill Mobs 两个任务上，UI-TARS-1.5 的成功率高于 OpenAI VPT、DeepMind DreamerV3 和 JARVIS-VLA^[2]。团队还在 poki.com 的 14 个小游戏上做了测试，每个游戏最多 1000 步^[2]。游戏在这里是一种压力测试：画面持续变化，也没有一份固定的按钮清单可以照做，模型必须连续做出长串动作。

在发展中的位置

UI-TARS-1.5 出现在这样一个时期：多个实验室开始推出不只是回答问题、而是直接操作电脑的模型。它的意义有两层。其一，公布的数字让它在 OSWorld、AndroidWorld 和 ScreenSpot 系列基准上领先于当时同类的通用电脑操作模型^[1]。其二，对研究社区更长久的价值在于，其中一个版本可以按宽松的开源协议下载，没有前沿实验室内部资源的团队也能运行、评测并在此基础上继续开发一个有竞争力的界面智能体^[1]。这种「小模型开源、强模型申请」的分开发布方式，后来成为智能体模型常见的做法：放出足够有用的部分，把最好的权重留在申请表后面^[1]。

基准测试没有回答的问题是长时间、杂乱的真实任务中的可靠性。OSWorld 上 100 步内 42.5 分，是一个难基准上的进展，并不等于模型可以在无人看管的情况下替人做完桌面上的任意工作^[1]。