阿里巴巴发布全模态模型 Qwen2.5-Omni

背景

在 Qwen2.5-Omni 之前，阿里巴巴的音频模型已经分步推进。Qwen-Audio 的预训练涵盖语音、自然声音、音乐和歌曲等 30 多项任务，Qwen2-Audio 则是之后的版本。Qwen2.5-Omni 把语音、图片和视频放进了同一个模型。^[4][2]

发生了什么

2025 年 3 月 26 日，阿里巴巴以 Apache 2.0 许可证发布 Qwen2.5-Omni-7B，3B 版本以 Qwen Research 许可证发布。技术报告同日发布在 arXiv 上。^[2][3]

该模型是端到端的全模态模型，能够感知文字、图片、音频和视频，并以文字和自然语音作出回应。^[1]

关键细节

模型采用思考者—说话者（Thinker-Talker）架构：Thinker 生成文字，Talker 把文字转换为流式语音。^[1]

其位置编码时间对齐的多模态旋转位置编码（Time-aligned Multimodal RoPE，TMRoPE）用于同步视频时间戳与音频。^[1]

模型面向完全实时的交互设计，支持分块输入和即时输出，并提供 Chelsie 和 Ethan 两种音色。^[1]

在 OmniBench 测试中，它的平均得分为 56.13%，Gemini-1.5-Pro 为 42.91%。^[1] 团队还报告，它在视觉任务上与 Qwen2.5-VL-7B 持平，在音频任务上优于 Qwen2-Audio。^[1]

部分术语需要解释。端到端（end-to-end）指由同一个模型完成整个任务，而不是在听、理解和说话之间交给不同的独立系统。在思考者—说话者（Thinker-Talker）结构中，前一部分决定用文字表达什么，后一部分把文字实时转化为流式语音。^[1]

全模态模型可以接受多种输入，这里包括文字、图片、音频和视频。OmniBench 是一项考察模型综合处理这些输入能力的测试。^[1]

实时交互指模型可以在用户仍在说话或展示内容时就作出回应。分块输入意味着模型按片段接收输入，而不是一次性接收全部内容。该模型同时强调即时输出。^[1]

影响

这次发布展示了一个模型同时处理语音输入与语音输出，并兼顾文字、图片和视频。2025 年 9 月，Qwen2.5-Omni 由 Qwen3-Omni 接替。^[2]