Qwen3-Omni 技术报告

这份资料要回答的是，一个统一的多模态模型能否在文本、图像、音频和视频上同时保持领先，而不出现相对单模态模型的性能退化。材料给出的背景是，当代以LLM为中心的多模态模型常有权衡：某一模态的提升往往伴随其他模态的下降。Qwen3-Omni的主张正是打破这种权衡，并特别强调音频任务上的优势。对关心多模态联合训练是否必然牺牲单模态能力的人来说，这个问题的答案比单一榜单名次更有参考价值。

这份资料覆盖Qwen3-Omni的模型设计、训练取舍和评测结果，核心是Thinker–Talker MoE架构：Thinker和Talker都升级为MoE，统一文本、图像、音频、视频的感知与生成。音频侧用从头训练的AuT编码器替换Whisper，训练数据为2000万小时监督音频，并用分块窗口注意力支持实时预填充缓存。语音生成侧采用多码本表示，Talker从单轨转为多轨codec建模，通过MTP模块自回归预测多个码本层；波形阶段用轻量ConvNet替代分块DiT。资料还给出一个显式推理任意模态输入的Thinking模型，以及通过微调Qwen3-Omni-30B-A3B得到的音频Captioner。

性能方面的关键主张是，Qwen3-Omni与Qwen系列内同尺寸单模态模型性能相当，在音频任务上尤其突出。在36个音频和视听基准中，它在32个上达到开源SOTA，在22个上达到总体SOTA。材料点名其超过Gemini-2.5-Pro、Seed-ASR和GPT-4o-Transcribe等闭源模型。换句话说，这份资料试图证明联合多模态训练不必以牺牲文本或视觉能力为代价，同时还能在音频维度取得领先。

其他能力数字也值得逐条看。它支持119种语言的文本交互、19种语言的语音理解、10种语言的语音生成；单实例可处理最长40分钟音频，用于ASR和口语理解。流式合成方面，Talker用多码本方案自回归预测离散语音codec，Code2Wav从第一个codec帧即可流式输出；在冷启动、无先验上下文条件下，理论端到端首包延迟为234ms。Qwen3-Omni-30B-A3B、Qwen3-Omni-30B-A3B-Thinking和Qwen3-Omni-30B-A3B-Captioner已公开释放。

这意味着多模态统一模型可以同时服务实时语音对话、长会议转写、视频理解和跨语言交互，而不必为每个模态单独部署一套模型。对工程实践而言，AuT的实时预填充缓存、多码本语音表示和ConvNet波形生成，都是围绕流式体验做的取舍；234ms的理论首包延迟说明端到端语音交互的延迟预算可以压到百毫秒级。Thinking模型把任意模态输入纳入显式推理，可能推动视频推理和复杂音频理解的任务设计。Captioner则针对通用音频描述模型的空缺，提供低幻觉的详细描述能力。

多模态模型研究者、语音交互与实时通信工程师、做模型选型的技术负责人，可以从这份资料里拿走一套具体的架构取舍：MoE化的Thinker–Talker、AuT编码器、多码本多轨语音生成、ConvNet波形合成，以及音频和视听基准上的评测口径。读完能判断Qwen3-Omni在哪些任务上值得进一步评估，尤其是长音频ASR、多语言语音生成和流式语音对话。边界也明显：给定材料主要是报告摘要和引言节选，没有展开各基准的详细分数、训练数据配比、延迟测量条件和独立复现结果

2025-09-23 Qwen3-Omni Technical Report Qwen Team https://github.com/QwenLM/Qwen3-Omni https://huggingface.co/spaces/Qwen/Qwen3-Omni-Demo https://modelscope.cn/studios/Qwen/Qwen3-Omni-Demo Abstract We present Qwen3-Omni, a single multimodal model that for the first time maintains state-of-the-art performance across text, image, audio, and video without any degra- dation relative to single-modal counterparts. Qwen3-Omni matches the performance of same-sized single-modal models within the Qwen series and excels particularly on audio tasks. Across 36 audio and audio-visual benchmarks, Qwen3-Omni achieves open- source state-of-the-art (SOTA) on 32 benchmarks and overall SOTA on 22, outperforming strong closed-source models such as Gemini-2.5-Pro, Seed-ASR, and GPT-4o-Transcribe. Qwen3-Omni adopts a Thinker–Talker Mixture-of-Experts (MoE) architecture that uni-