UI-TARS

是什么

UI-TARS 是字节跳动 Seed 研发的图形用户界面（GUI）智能体模型。它只以屏幕截图作为输入，输出键盘和鼠标操作^[1]。除此之外没有别的接口：模型像人一样看屏幕上的画面，然后决定点哪里、输入什么、什么时候滚动。

名字里的「native」（原生）指的正是这种设计。它不在通用语言模型外面套一层脚本，把模型输出的文字解析成点击，而是把感知、推理和动作放进同一个为此训练的模型里。从看屏幕到动手之间因此少了几道转手，同一个模型也可以被指向不同的应用，而不只是服务于某一条固定流程。

由来

这项工作总结在一篇 2025 年 1 月 21 日提交到 arXiv 的论文里，作者是 Yujia Qin 和另外 34 位合作者^[1]。

怎么做的

论文摘要列出了四项创新^[1]。第一项是感知：用一个大规模的 GUI 截图数据集强化模型读屏的能力，使它能认出各种软件里的按钮、输入框、菜单和其他元素。第二项是跨平台的统一动作建模，桌面端与移动端共用同一套键盘和鼠标动作，而不是为每个平台单独设计一套动作词汇。

第三项是 System-2 式的推理。在认知科学里，「系统 2」指缓慢、刻意的思考，与快速反射式的「系统 1」相对。看到一张截图就立刻点击的智能体，容易把一次错误一路带到下一步；先对当前屏幕状态做一番推理、再选择动作，则更有机会从错误中恢复。第四项是在可反思的在线交互轨迹上做迭代训练：模型从自己交互过程的记录中学习，其中包括对出错之处的反思。

成绩

论文报告在 10 个以上的 GUI 智能体基准上取得了当时最好的结果，覆盖感知、定位（grounding，即找出屏幕上该操作的那个元素）和任务执行^[1]。在 OSWorld 上，允许 50 步时得分为 24.6，只允许 15 步时为 22.7；作为对照，Claude 分别是 22.0 和 14.9^[1]。在 AndroidWorld 上，它的得分是 46.6，对照的 GPT-4o 为 34.5^[1]。步数的影响很明显：双方的分数都随着允许的步数从 15 放宽到 50 而上升，说明这类任务的成绩在很大程度上取决于智能体能尝试多少步。

发布

模型以 Apache-2.0 协议在 GitHub 上开放权重，其中包括 UI-TARS-72B-DPO 模型^[2]。项目还提供 UI-TARS-desktop，用于在个人电脑上运行这个智能体^[2]。仓库在 2025 年 3 月 23 日更新了 OSWorld 的推理脚本^[2]。

之后

UI-TARS-1.5 于 2025 年 4 月 16 日接替了它：当天发布了一篇进展博客，并开源了 UI-TARS-1.5-7B^[2]。再往后是 2025 年 9 月 4 日的 UI-TARS-2^[2]。

意义

绝大多数软件是为人眼和人手设计的：按钮要人去找，表单要人去填。GUI 智能体想做的，是让模型直接接管这些界面，而不要求每个软件先提供一套供程序调用的接口。只靠截图做到这一点是难处所在——模型在每一步都得自己判断眼前是什么、下一步做什么，手里并没有一份关于这个应用的说明书。UI-TARS 是把这种能力做进单个模型的一次尝试，而开放权重让其他人可以运行它、与它比较。