《Qwen3.5-Omni 技术报告》

这份报告是什么

《Qwen3.5-Omni 技术报告》由阿里巴巴 Qwen 团队撰写，于 2026 年 4 月 17 日提交到 arXiv，编号 2604.15804^[1]。报告介绍的是 Qwen3.5-Omni，即 Qwen-Omni 系列的最新一代模型。这个系列的特点是：把多种媒体放进同一个系统里处理，而不是让文本、语音、视觉各走各的独立管线^[1]。报告中的模型参数规模达到数千亿，上下文长度为 256K^[1]。

它是怎么搭起来的

报告的重心落在两件事上：数据和架构。

数据方面，模型在一个大规模数据集上训练，其中既有异构的文本—视觉配对数据，也有超过 1 亿小时的音视频内容^[1]。文本与视觉的配对，加上规模庞大的音频和视频，为模型提供了非文本材料的 grounding（接地）：说话声、环境声、动态画面，以及它们在时间轴上如何对齐。

架构方面，模型的两个主要组件都采用混合注意力专家混合（Hybrid Attention Mixture-of-Experts）框架^[1]。这两个组件是负责理解与推理的 Thinker，以及负责语音生成的 Talker^[1]。专家混合（mixture-of-experts）的基本思路是：每个 token 只被路由到网络中一小部分参数上，因此总参数量可以做得很大，而单个 token 的计算开销相对有限。报告把这一设计与它的注意力方案合在一起，作为实现高效长序列推理的关键^[1]。这对音视频输入尤其重要，因为这类输入天然就长：一次对话有几分钟，一段录音可能有几个小时。

它能做什么

输入侧明显偏向长形态。模型支持超过 10 小时的音频理解，以及 400 秒的 720P 视频（每秒 1 帧）^[1]。理解与生成都是多语言的：模型覆盖 10 种语言的多语言理解与语音生成^[1]。

语音输出有它自己的难点。流式语音合成（streaming speech synthesis）—— 也就是在用户还在听的时候就继续产出音频 —— 一直存在不稳定、不自然的问题，原因在于用于文本的分词器（tokenizer）和用于语音的分词器编码效率不匹配^[1]。报告提出了 ARIA，通过动态对齐文本单元和语音单元来修正这个问题^[1]。

除了回答问题，模型还能生成脚本级的结构化描述（caption），带时间同步和自动场景分割^[1]。作者们还报告了一种他们称为 Audio-Visual Vibe Coding 的能力：直接根据音视频指令写代码^[1]。他们把这称为「涌现」（emergent）能力，也就是说，它并非训练时明确设定的目标，而是在成品模型里自行出现^[1]。

结果

Qwen3.5-Omni-plus 这一配置在 215 项音频与音视频的理解、推理和交互子任务及基准上报告了当前最优（state-of-the-art）结果^[1]。在关键的音频任务上它超过 Gemini-3.1 Pro，在综合音视频理解上与后者持平^[1]。

为什么重要

这份报告可以看作一个路标：多模态模型正在从「给文本模型外挂一个语音模块」，转向「一个系统同时接纳数小时音频、数分钟视频，并用 10 种语言流式输出语音」^[1]。报告强调的几个工程选择 —— 用专家混合应对长序列，用文本与语音分词器之间的对齐来保证流式语音的稳定 —— 正是任何想做实时语音助手的人都会撞上的约束^[1]。相比之下，「从音视频指令中涌现出写代码能力」这个说法更开放一些：它提示，如果在一个足够宽广的范围内用成对的声音、图像和文本训练模型，可能会得到一些并未被显式设计进去的行为^[1]。