字节跳动开源 GUI 智能体模型 UI-TARS

背景

图形界面智能体（GUI agent）是通过图形界面使用软件的 AI 系统，它看到的是人能看到的窗口、按钮和菜单。只依靠屏幕截图工作的系统，原则上可以用在任何人能看见的屏幕上。

发生了什么

2025 年 1 月 21 日，字节跳动 Seed 团队的研究人员把 UI-TARS 论文发布到 arXiv 预印本平台。^[1] 论文作者把 UI-TARS 称为原生（native）图形界面智能体，它只感知屏幕截图，并通过键盘和鼠标完成操作。^[1]

关键成绩

论文报告，在 50 步的设定下，UI-TARS 在 OSWorld 上得分 24.6，Claude 为 22.0。OSWorld 是一套在真实桌面操作系统上完成任务的测试基准。在 AndroidWorld 上，UI-TARS 得分 46.6，GPT-4o 为 34.5。^[1]

作者称，它在十余项图形界面智能体基准测试上取得了当时的最好成绩。^[1]

开源发布

模型权重以 Apache-2.0 许可证发布在 GitHub 上，包括 UI-TARS-72B-DPO。^[2] 这一开源许可允许他人使用、修改和再分发模型，但需保留许可声明。

后续版本

UI-TARS-1.5 于 2025 年 4 月 16 日推出，UI-TARS-2 于 2025 年 9 月 4 日推出。^[2] 这两次发布各有独立的条目。

图形界面智能体的基准测试各不相同，有的在桌面系统上进行，有的在手机系统或网页上进行。成绩通常是在固定任务集上完成的比例，因此只有测试和步数限制都相同时，不同论文的结果才便于比较。

影响

论文在 OSWorld 和 AndroidWorld 上与 Claude、GPT-4o 的比较，是这一路线的主要依据。开放权重也让其他研究者能够直接研究和测试这类智能体。