通义千问 Qwen2.5-Omni 技术报告

这份资料要回答的是，怎样用一个端到端模型同时感知文本、图像、音频和视频，并以流式方式同时输出文本和自然语音。它把难点拆成三件事：多模态联合训练与时序对齐、文本与语音输出之间的相互干扰、以及实时理解与低延迟音频输出。值得现在看，是因为报告没有停留在能力清单，而是给出了 TMRoPE 和 Thinker-Talker 两套架构层面的回答。对于关心全模态模型怎么做的人来说，这比单看榜单更有信息量。

覆盖范围从模型总体设计到关键模块：音视频编码器的 block-wise 处理、TMRoPE 位置编码、Thinker-Talker 双模型结构，以及用于流式解码音频 token 的滑动窗口 DiT。方法上，报告以架构描述为主，配合基准评测来支撑结论，对比对象包括同等规模的 Qwen2.5-VL 和 Qwen2-Audio，并报告在 Omni-Bench 等全模态基准上的表现。语音生成方面，它把流式 Talker 与已有的流式、非流式方案在鲁棒性和自然性上做比较。换句话说，材料提供的是设计动机、模块职责和对外评测结论，而非完整的实验复现细节。

第一个关键设计是 block-wise 处理。音频和视觉编码器都按块处理输入，报告称这样能把长序列多模态数据的处理解耦：感知由多模态编码器负责，长序列建模交给大语言模型，再通过共享注意力机制融合不同模态。这意味着流式能力被前置到编码器，而不是等模型读完整个输入再处理。TMRoPE 则处理视频时间戳与音频同步：把音频和视频按时间顺序交错组织，并提出时间对齐的多模态 RoPE。解读来说，这两项合起来是在解决「边看边听」时的时间结构问题。

第二个关键设计是 Thinker-Talker。Thinker 作为大语言模型负责文本生成，Talker 是双轨自回归模型，直接使用 Thinker 的隐表示产生音频 token，两者端到端联合训练和推理。报告明确说，这样做的目的是同时生成文本和语音，又避免两个模态互相干扰。为了流式解码音频 token，报告引入滑动窗口 DiT 来限制感受野，目标是降低初始包延迟。性能上，报告称 Qwen2.5-Omni 在图像能力上与同等规模的 Qwen2.5-VL 相当，在音频能力上超过 Qwen2-Audio，并在 Omni-Bench 等基准上达到 state-of-the-art；语音指令跟随在 MMLU、GSM8K 等基准上与文本输入能力相当。

这些结论的实践含义，解读来看有三点。第一，全模态模型的流式体验不只是推理阶段的工程优化，编码器的分块和位置编码的时间对齐会直接决定能不能实时预填充。第二，文本与语音双输出如果共用一套表示但由不同子模型负责，可能比单模型硬扛两种输出更容易控制干扰。第三，滑动窗口 DiT 这类限制感受野的做法，指向的是首包延迟而非平均吞吐。对做语音对话、视频对话和视频推理系统的人，这些是可直接借鉴的架构取舍。报告也把这三类任务列为模型支持的范围。

这份资料适合做多模态建模、实时语音交互和流式推理系统的人读。读完能拿走的是一张架构地图：感知如何分工、时间如何对齐、文本与语音如何解耦、流式延迟从哪里压。边界也要说清楚：现有材料是技术报告的摘要与引言，给出了设计动机和结论性对比，但没有训练数据配比、具体延迟数值和各基准的分数细节；性能表述来自团队自述。若要判断复现成本或做选型，还需要回到报告正文和公开代码仓库核对。总体看，它更像一份架构说明书，而不是完整的实验报告。

2025-03-27 Qwen2.5-Omni Technical Report Qwen Team https://huggingface.co/Qwen https://modelscope.cn/organization/qwen https://github.com/QwenLM/Qwen2.5-Omni Abstract In this report, we present Qwen2.5-Omni, an end-to-end multimodal model designed to perceive diverse modalities, including text, images, audio, and video, while simultane- ously generating text and natural speech responses in a streaming manner. To enable the streaming of multimodal information inputs, both audio and visual encoders utilize a block-wise processing approach. This strategy effectively decouples the handling of long sequences of multimodal data, assigning the perceptual responsibilities to the mul- timodal encoder and entrusting the modeling of extended sequences to a large language model. Such a division of labor enhances the fusion of different modalities via the shared attention mechanism.