Fuyu-8B（无视觉编码器的多模态模型）

是什么

Fuyu-8B 是 Adept 于 2023 年 10 月 17 日开源的一个多模态（multimodal）Transformer 模型^[1]。它最特别的地方在结构上：这是一个仅解码器（decoder-only）的模型，完全没有图像编码器（image encoder），图像切成的图块被直接投射进网络的第一层^[1][2]。常见的视觉语言模型通常先让图片经过一个独立的视觉主干，再把结果交给语言模型；Fuyu-8B 只有一套网络，图片从最底层直接进去，和文字 token 走同一条路。

去掉编码器带来了什么

由于模型不使用专门针对图像的位置编码（position embedding），它在训练和推理时都能接受任意分辨率的图片^[1]。通常的视觉编码器会事先把输入尺寸定死，图片必须缩放或切块才能塞进去；这个限制在 Fuyu-8B 里被取消了，一张竖长的截图或一张很宽的幻灯片可以原样输入。

Adept 还表示，模型回答关于大图的问题可以在 100 毫秒以内完成^[1]。这个数字之所以重要，和它打算被用在哪里有关：模型位于一个交互循环之中，如果每一步都要等上一秒甚至更久，整件事就没法用了。

成绩

Adept 公布的数据是：VQAv2 上 74.2，OKVQA 上 60.6，AI2D 上 64.5^[1][2]。公司称 Fuyu-8B 在这三项指标中的两项上超过了 Qwen-VL 和 PaLM-E-12B，而参数量分别少 20 亿和 40 亿^[1]。在 COCO 图像描述任务上它得到 141 分，高于 Adept 尚未发布的更大模型 Fuyu-Medium 的 138 分^[1]。

这些都是视觉问答与图表理解类基准上的分数，可以用来把它和同期模型放在一起比较，但并不等于它在开放式使用中的表现。

为谁而做

Fuyu-8B 的目标是读屏幕、图表、幻灯片和 PDF——也就是一个需要在界面上替用户点击和滚动的 copilot 所面对的输入^[1]。Adept 的论点是：在缺少 API 或 API 不完整的情况下，让模型通过用户界面去操作软件，可以把用户留在环路之中^[1]。这和「一切皆 API」的自动化思路是不同的赌注：不去要求每个应用为机器开放一套干净的接口，而是让模型去操作人天天在用的那套界面。

局限

它发布时是一个原始的基础模型（base model），没有经过指令微调，也没有后处理或输出过滤^[1][2]。基础模型是按训练数据的样子续写文本的，没有被教过如何礼貌地听从指令、如何拒绝某些请求，因此它是继续训练的起点，而不是一个成品助手。许可证是 CC-BY-NC 4.0，排除了商业用途^[1][2]。把这些放在一起看，Fuyu-8B 更像是一次关于架构和取舍的公开示范——单一网络、没有编码器、分辨率灵活、延迟低、输入长得像屏幕——供别人在此基础上继续做，而不是一个可以直接交付的产品。