InternVL3探索开源多模态模型先进训练与测试时方法

InternVL3 想回答的是一个路线问题：多模态大模型是否必须先把纯文本大语言模型训好，再通过多阶段管线改造成能看图的模型？报告给出的答案是否定的——它在单一预训练阶段同时接触多模态数据和纯文本语料，让模型从一开始就联合获得多模态与语言能力。这个问题现在值得看，是因为主流开源和闭源 MLLM 大多仍走“事后适配”路线，需要引入 OCR 等专门领域辅助数据，还要靠复杂的参数冻结或多阶段微调来保住语言能力，资源和工程代价都不低。InternVL3 把这条路线摆到台面上，并给出训练数据和模型权重的公开入口，等于给社区提供了一个可检验的替代方案。

这份技术报告覆盖的是 InternVL 系列的最新节点，内容从预训练范式延伸到后训练和测试时策略。方法上有几个明确组件：原生多模态预训练、可变视觉位置编码 V2PE（用于支持更长的多模态上下文）、监督微调 SFT 与混合偏好优化 MPO，以及测试时缩放策略和一套优化过的训练基础设施。评测范围包括多学科推理、文档理解、多图与视频理解、真实世界理解、多模态幻觉检测、视觉定位和多语言能力；报告还提到，加入扩展的领域数据集后，模型在工具使用、GUI agents、工业图像分析和空间推理上也有提升。对比对象覆盖 InternVL2.5 78B、InternVL3 8B 与 78B、Qwen2.5-VL 72B、其他开源 MLLM，以及 Claude-3.5 Sonnet、ChatGPT-4o-latest、Gemini-2.5 Pro 等闭源模型；作者单位包括上海人工智能实验室、商汤、清华大学、南京大学、复旦大学、香港中文大学和上海交通大学。

最核心的数字是 InternVL3-78B 在 MMMU 上拿到 72.2，报告称这刷新了开源 MLLM 的 state-of-the-art。相比同规模上一代 InternVL2.5 78B 的 70.1，提升 2.1 分；放进闭源阵营看，它低于 ChatGPT-4o-latest 的 72.9 和 Gemini-2.5 Pro 的 74.7，但高于 Claude-3.5 Sonnet 的 66.4。换句话说，报告并没有宣称全面超过最强闭源模型，而是说保持“高度有竞争力”，这个措辞和数字是对得上的。另一个值得注意的点是 MathVista：InternVL3-78B 得到 79.6，比 InternVL2.5 78B 的 72.3 高出 7.3 分；而 InternVL3 8B 也有 75.2，已经高于上一代 78B 模型的 72.3，说明小模型在部分视觉数学推理任务上跨过了上一代大模型的水平。

其余 benchmark 呈现的是有升有降的图景。相对 InternVL2.5 78B，InternVL3-78B 在 AI2D 上从 89.1 升到 89.7（+0.6），ChartQA 从 88.3 升到 89.7（+1.4），DocVQA 从 95.1 升到 95.4（+0.3），InfographicVQA 从 84.1 升到 85.2（+1.1），HallusionBench 从 57.4 升到 59.1（+1.7），OCRBench 从 854 升到 906（+52），LongVideoBench 从 63.6 升到 65.7（+2.1）。OCRBench 的 906 高于 ChatGPT-4o-latest 的 894 和 Gemini-2.5 Pro 的 862，说明 OCR 相关能力是它的强项之一。但 DocVQA 的 95.4 低于 Qwen2.5-VL 72B 的 96.4 和其他开源 MLLM 一列的 96.5，ChartQA 的 89.7 也低于 Claude-3.5 Sonnet 的 90.8，所以“全面领先”并不成立，任务之间的强弱差异需要按需看。

这些结果意味着什么？从训练路线看，原生多模态预训练把“语言能力保持”和“视觉对齐”放到同一个阶段处理，绕开了后训练管线里常见的辅助数据依赖和参数冻结调度，报告因此称它更高效、更集成。从工程实践看，V2PE、SFT、MPO、测试时缩放和训练基础设施被放在同一套 recipe 里，说明 InternVL3 的改进不是单点技巧，而是一组可以分别借鉴的组件；不过给定材料没有给出各组件单独的消融数字，所以不能把某一项提升直接归因于 V2PE 或 MPO。开源训练数据和模型权重这一点更实际：研究团队可以拿权重做下游评测，也可以沿着数据管线复现或修改预训练配方。

这份报告适合做多模态模型训练、评测和开源模型选型的人读。读完能拿走三样东西：一条与主流“事后适配”不同的原生多模态预训练路线，一组覆盖 MMMU、MathVista、OCRBench、LongVideoBench 等任务的对照数字，以及代码、模型权重和训练数据的公开入口。边界也要说清楚：它是机构发布的技术报告，结论基于报告自己列出的 benchmark 和特定对比版本；表格里部分闭源模型在个别任务上是“-”，说明并非所有项目都有公开可比数字；给定材料只包含摘要和引言，训练细节、数据配比和完整消融需要回到代码与权重去核对。把 72.2 的 MMMU 成绩当成开源阵营的一个新参照点可以，但不宜外推成所有场景下的普遍优势。

InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models Jinguo Zhu1∗, Weiyun Wang5,1∗†, Zhe Chen 4,1∗†, Zhaoyang Liu 1∗†, Shenglong Y e1∗, Lixin Gu 1∗, Hao Tian 2∗, Yuchen Duan6,1∗†, Weijie Su1, Jie Shao 4,1†, Zhangwei Gao 7,1†, Erfei Cui 7,1†, Xuehui Wang7,1†, Yue Cao4,1†, Yangzhou Liu4,1†, Xingguang Wei1†, Hongjie Zhang 1, Haomin Wang7,1†, Weiye Xu1†, Hao Li 1†, Jiahao Wang1†, Nianchen Deng1, Songze Li 1, Yinan He1, Tan Jiang2, Jiapeng Luo 2, Yi Wang1, Conghui He 1, Botian Shi 1, Xingcheng Zhang1, Wenqi Shao1, Junjun He 1, Yingtong Xiong1, Wenwen Qu1, Peng Sun 1, Penglong Jiao 1, Han Lv1, Lijun Wu1, Kaipeng Zhang 1, Huipeng Deng 1, Jiaye Ge 1, Kai Chen 1, Limin Wang4,1, Min Dou 1, Lewei Lu2, Xizhou Zhu 3,1, Tong Lu4, Dahua Lin 6,1, Yu Qiao1, Jifeng Dai 3,1B, Wenhai Wang6,1B