以模型数据与测试时扩展拓展开源多模态模型性能边界

开源多模态模型能否在性能上逼近闭源商业模型，以及模型规模、数据规模与测试时计算分别如何影响最终表现，是这份技术报告试图回答的核心问题。InternVL 2.5 在 InternVL 2.0 的核心架构上继续推进，重点改进了训练与测试策略以及数据质量，并系统考察视觉编码器、语言模型、数据集大小和测试时配置与性能之间的关系。值得现在看的地方在于，报告称 InternVL 2.5 是首个在 MMMU 基准上超过 70% 的开源多模态大模型，同时通过 Chain-of-Thought 推理展示了测试时扩展的潜力。换句话说，它不只是在发布一个新模型系列，而是在给出几条可复用的 scaling 线索。

覆盖范围上，这份报告讨论的是 InternVL 2.5 系列模型，材料中的图示覆盖从 1B 到 78B 的多个规模，而不是只报告单一模型。方法上，它延续 InternVL 2.0 的核心架构，同时在训练策略、测试策略和数据质量上做增强，再系统观察视觉编码器、语言模型、数据集规模和测试时配置变化带来的性能趋势。评估并不局限于单一任务，而是覆盖多学科推理、文档理解、多图与视频理解、真实世界理解、多模态幻觉检测、视觉定位、多语言能力以及纯语言处理等广泛基准。材料还提到 OpenCompass 排行榜分数由 8 个学术 VQA 基准汇总而来，这一口径只覆盖整体能力的一部分，报告也明确说仍需进一步努力才能与闭源模型匹配。

第一个关键发现是，大视觉编码器可以显著降低模型扩展时对训练数据的依赖。材料给出的对比是：Qwen2-VL-72B 配备 600M 视觉编码器，而 InternVL2.5-78B 配备 6B 视觉编码器，后者仅用前者十分之一的训练 token 就取得了更好的性能。解读来看，这意味着视觉侧的容量可以换取训练 token 效率，从而降低扩展多模态模型时的探索成本。第二个发现是数据质量比单纯扩大数据量更关键：从 InternVL 2.0 到 2.5，数据集规模翻倍，但报告进行了严格过滤，例如排除重复模式等异常样本，并在 MMMU、OlympiadBench 等 Chain-of-Thought 推理任务上取得显著提升。材料还指出，多数现有开源多模态大模型在使用 CoT 时往往表现不佳，这反过来说明高质量数据过滤是 CoT 能力的前提之一。

第三个发现集中在测试时扩展。对于 MMMU 这类困难的多模态问答，InternVL2.5-78B 使用 CoT 达到 70.1%，比直接回答高 3.7 个百分点；报告还验证了 CoT 可以与多数投票结合，带来额外提升。结合“首个开源模型在 MMMU 超过 70%”这一表述，可以看出测试时计算是困难任务上一条有效的性能杠杆，而不只是训练阶段的参数堆叠。报告称，在广泛基准上 InternVL 2.5 表现出竞争力，可与 GPT-4o、Claude-3.5-Sonnet 等领先商业模型比肩。不过，前面提到的 OpenCompass 口径限制仍然成立：这些结论有明确的评测范围，不能简单外推为全面超越闭源模型。

这些结论对实践的影响比较直接。模型、数据和测试时配置是三条可以分别调节的 scaling 轴，训练预算有限时，优先考虑视觉编码器容量与数据过滤，可能比单纯增加训练 token 更有效；部署阶段则可以把 CoT 和多数投票当作困难多模态任务的推理时增强手段。换个角度说，报告把“扩模型”拆成了更细的工程选择：视觉侧扩多少、数据怎么洗、推理时给多少计算，都会改变性能与成本的平衡。对做多模态训练和评测的团队而言，这种拆分比单一榜单分数更有参考价值。

读者对象上，这份材料适合多模态模型研究者、训练与评测工程师，以及关注开源多模态模型技术进展的读者。读完可以拿走三样东西：一套关于视觉编码器、语言模型、数据规模和测试时配置的 scaling 关系框架；一组可核对的数字证据，包括 6B 视觉编码器与十分之一训练 token 的对比、MMMU 70.1% 和 3.7 个百分点提升；以及一个明确的评测边界提醒。局限也在于，它是一份技术报告，结论依赖特定基准与模型配置，OpenCompass 仅由 8 个学术 VQA 基准构成，覆盖能力有限，与闭源模型全面匹配仍需进一步努力。

Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling Zhe Chen4,1∗†, Weiyun Wang5,1∗†, Yue Cao4,1∗†, Yangzhou Liu4,1∗†, Zhangwei Gao7,1∗†, Erfei Cui7,1∗†, Jinguo Zhu1∗, Shenglong Ye1∗, Hao Tian2∗, Zhaoyang Liu1∗†, Lixin Gu1, Xuehui Wang1†, Qingyun Li1†, Yimin Reng3,1†, Zixuan Chen2, Jiapeng Luo2, Jiahao Wang2, Tan Jiang2, Bo Wang2, Conghui He1, Botian Shi1, Xingcheng Zhang1, Han Lv1, Yi Wang1, Wenqi Shao1, Pei Chu1, Zhongying Tu1, Tong He1, Zhiyong Wu1, Huipeng Deng1, Jiaye Ge1, Kai Chen1, Kaipeng Zhang1, Limin Wang4,1, Min Dou1, Lewei Lu2, Xizhou Zhu3,1, Tong Lu4, Dahua Lin6,1, Yu Qiao1, Jifeng Dai3,1B, Wenhai Wang6,1B 1Shanghai AI Laboratory 2SenseTime Research 3Tsinghua University 4Nanjing University 5Fudan University 6The Chinese University of Hong Kong 7Shanghai Jiao Tong University Code:https://github.com/OpenGVLab/InternVL