Adept 发布无视觉编码器的多模态模型 Fuyu-8B

背景

Adept 把 Fuyu-8B 定位成面向知识工作者（knowledge workers）的通用助手（copilot）的一部分^[1]。这类助手要替人在软件里完成操作，而不只是在对话框里回答问题，因此它必须像人一样看懂屏幕上的内容。也正因如此，这次发布中模型的视觉能力与语言能力分量相当。

发布文章还给出了一个架构上的判断：Adept 认为当时已有的多模态模型在架构上和训练上都过于复杂，难以调试、扩展和部署^[1]。这句话把 Fuyu-8B 摆成一次「把配方做简单」的尝试，而不是一次基准成绩的刷新。这两种说法差别很大：前者是一种设计主张，可以被别人拿去验证；后者只是一个分数，只能被比较。

发布

2023 年 10 月 17 日，Adept 发布 Fuyu-8B^[1]。模型的权重和示例代码在同一天被放上 Hugging Face^[1]。权重公开改变的是谁能真正接触这个模型：外部开发者可以下载并运行它，而不只是读一篇介绍它的文章。

「无编码器」是什么意思

在常见的多模态做法里，图像要先经过一个专门的视觉编码器（vision encoder）被转换成特征，再由语言模型在这些特征上工作，整个系统因此分成两段。Fuyu-8B 被称为「无编码器」（encoder-free）的多模态架构，也就是不走这条先编码、再交给语言模型的两段式路径，中间不再单独设一个视觉编码器。

这个选择与发布文章里的批评是同一件事的两面：少一个独立部件，系统在调试、扩展和部署时要处理的东西就少一层^[1]。对一个要长期迭代、还要装进产品里的模型来说，复杂度的差别最终会体现在能不能快速定位问题和能不能顺利铺开上。

被留在内部的部分

这次发布有明确的边界。Adept 表示更大的 Fuyu-Medium 不会公开^[1]。文章还预告了两项能力：在屏幕上定位具体元素（screen localisation），以及针对用户界面（UI）回答问题；但这两项被保留在内部模型里^[1]。此外，Adept 说随后会推出产品 alpha 版^[1]。

三件事放在一起，是一次分阶段的安排：先开放较小的模型，把更大的模型和界面级能力留在公司内部，产品稍后跟上。这条界线也划出了两类东西的分野——哪些算作可以共享的基础工作，哪些被当作自己的商业地盘。

意义

对做智能体（agent）的团队来说，一个权重可以下载的多模态模型是可以直接拿来搭建东西的，不必依赖封闭接口。Fuyu-8B 带来的与其说是一项能力纪录，不如说是一个设计立场：多模态模型的视觉部分可以更简单，而更简单的模型更容易调试、扩展和部署^[1]。由于权重和示例代码在发布当天就公开了^[1]，这个立场可以被 Adept 之外的人拿去检验，而不必停留在纸面争论上。

它把重点放在屏幕而不是照片上，这一点同样值得注意。屏幕定位和界面问答，是助手在点对按钮、填对输入框之前必须先具备的本事^[1]；Adept 选择在开放基础模型的同时把这些能力留着。于是整篇发布读起来像一个尚未走完的序列里的一个片段：模型已经放出，产品 alpha 版被许诺在后面^[1]，而智能体问题里最难的那部分还留在门内。