阿里巴巴开源全模态模型 Qwen3-Omni

背景

在许多系统中，语音与视觉长期由各自独立的模型处理。全模态模型则在同一网络中接收多种输入，既能以文字也能以语音回应，这对语音助手以及涉及视频的交互式应用很有用。

发生了什么

2025年9月，阿里巴巴以 Apache 2.0 许可证发布 Qwen3-Omni。该模型是混合专家设计，采用 Thinker-Talker 结构：一个组件负责理解与文本，另一个负责语音输出。^[2][1]

关键细节

Qwen3-Omni 能理解119种语言的文本，接受19种语言的语音输入，并能以10种语言输出语音。^[1]

通义千问团队报告，该模型在36项音频与音视频基准中的22项上达到最优水平，在其中32项上达到开源模型的最优水平。团队还称，其语音识别、音频理解和语音对话能力与 Gemini 2.5 Pro 相当。^[1]

发布时共有三种版本：Instruct 模型；只处理文本、使用思维链推理的 Thinking 模型；以及为生成详细且较少幻觉的音频描述而微调的 Captioner 模型。^[1]

影响

对读者而言，其意义在于：一个能处理语音、音频、视频和文本的模型以开放权重的形式提供，研究人员和开发者因此可以测试并改造它。基准成绩由开发方报告，衡量的是特定任务，宜将其视为能力的证据，而不是完整的排名。^[1]

语音系统若由多个分立部件组成，例如一个负责转写语音、一个负责推理、一个负责生成声音，每次交接都会增加延迟。全模态设计试图把这些功能统一运行，使模型在用户还在说话时就能开始回应。