Qwen2.5-VL 技术报告

这份技术报告要回答的是：当大型视觉语言模型在计算复杂度、上下文理解、细粒度视觉感知和不同序列长度下的稳定性上遇到瓶颈时，Qwen 视觉语言系列的新一代旗舰该怎么往前走。报告给出的答案不是单点修补，而是同时动视觉编码器、时间建模、数据规模和任务形态。值得现在看，是因为它把“能看懂图”推进到“能定位、能解析文档、能处理小时级视频、能作为视觉 agent 执行任务”这一组更具体的能力上，并且交代了背后的架构与数据取舍。

报告覆盖的范围包括模型的基础能力、创新功能、架构改动、训练数据以及不同尺寸的定位。方法上，它从视觉编码器、动态分辨率、时间编码和多模态数据构建几条线展开，属于团队官方技术报告，而不是第三方评测。四项技术贡献被明确列出：在视觉编码器里引入 window attention 以优化推理效率；用动态 FPS 采样把动态分辨率扩展到时间维度；把 MRoPE 的时间域对齐到绝对时间；以及在预训练和监督微调数据上做整理，把预训练语料从 1.2 trillion tokens 扩展到 4.1 trillion tokens。报告还用“夹心饼干”的比喻说明自己的位置：当前多模态模型像中间层，各种任务都能做但不够出色，底层是细粒度视觉任务，顶层是多模态推理。

能力层面的关键变化集中在三个方向。第一是文档解析，报告称其从文本识别升级为 omni-document parsing，能处理多场景、多语言以及手写、表格、图表、化学公式、乐谱等内嵌元素，并能从发票、表单和表格中做结构化数据提取，对图表、示意图和布局做详细分析。第二是目标定位，模型可以用 bounding box 或 points 准确标出物体，支持检测、指向和计数，并接受绝对坐标与 JSON 格式，用于更复杂的空间推理。第三是视频理解，原生动态分辨率被延伸到时间维度，模型能处理长达数小时的视频，并做到秒级事件定位。

支撑这些能力的是几处具体设计。报告称其从零训练了原生动态分辨率的 Vision Transformer，并加入 Window Attention，在保持原生分辨率的同时显著降低计算开销。动态分辨率处理加上绝对时间编码，使模型可以直接感知空间尺度与时间动态，而不依赖传统的归一化手段；动态 FPS 采样则让不同采样率的视频都能被完整理解。模型规模上给出三档：旗舰 Qwen2.5-VL-72B 在文档和图表理解上尤其突出，报告称其匹配 GPT-4o 和 Claude 3.5 Sonnet 这类 state-of-the-art 模型；较小的 Qwen2.5-VL-7B 和 Qwen2.5-VL-3B 在同类竞品中表现更好，面向资源受限环境。报告同时强调模型保留了 Qwen2.5 LLM 的核心语言能力。

这些结论意味着，Qwen2.5-VL 的定位不只是“看图问答”的模型，而是把细粒度感知当作底座、把多模态推理当作顶层的交互式视觉 agent。报告明确提到它能在操作电脑和移动设备等真实场景中推理、使用工具、执行任务，并且跨领域泛化不需要任务特定的微调。换句话说，文档解析、目标定位和长视频理解被放在同一条能力链上：先准确感知局部，再在时间和空间上组织信息，最后落到可执行的任务。对实践来说，三档尺寸给了从边缘 AI 到高性能计算的选择空间；如果报告描述成立，部署方在发票、表单、表格和图表类流程里可能减少专门微调的工作量，但具体收益仍取决于实际数据分布和任务复杂度，这一点需要自行验证。

适合读这份资料的人，是关注多模态模型架构、文档智能、视觉 agent 和长视频理解的同行，以及需要判断 Qwen2.5-VL 能否进入自己业务流程的技术选型者。读完能拿走的是一张能力地图：模型在哪些任务上被重点设计、用了哪些架构和数据手段、三档尺寸各自面向什么场景，以及报告自己如何界定“细粒度感知”和“多模态推理”的关系。边界也需要说清楚：给定材料主要是摘要和引言，没有给出各 benchmark 的具体分数、消融实验细节、数据配比和失败案例；报告对 72B 匹配 GPT-4o、Claude 3.5 Sonnet 的说法属于团队自述，判断强弱仍要回到原文的评测表格和复现条件。

March 5, 2025 Qwen2.5-VL Technical Report Qwen Team, Alibaba Group https://chat.qwenlm.ai https://huggingface.co/Qwen https://modelscope.cn/organization/qwen https://github.com/QwenLM/Qwen2.5-VL Abstract We introduce Qwen2.5-VL, the latest flagship model of Qwen vision-language series, which demonstrates significant advancements in both foundational capabilities and innovative functionalities. Qwen2.5-VL achieves a major leap forward in understanding and interacting with the world through enhanced visual recognition, precise object local- ization, robust document parsing, and long-video comprehension. A standout feature of Qwen2.5-VL is its ability to localize objects using bounding boxes or points accurately. It provides robust structured data extraction from invoices, forms, and tables, as well as detailed analysis of charts, diagrams, and layouts. To handle complex inputs, Qwen2.5-