DeepSeek-VL2：面向高级多模态理解的混合专家视觉语言模型

大型视觉语言模型已经能同时处理图像和文本，但要在高分辨率输入、多任务覆盖和推理成本之间取得平衡并不容易。这份资料是 DeepSeek-AI 发布的 DeepSeek-VL2 技术报告，核心问题正是：在混合专家（MoE）架构下，怎样把视觉编码和语言模型两端同时做得更高效，并把能力扩展到视觉定位这类更精细的任务。它值得现在看，是因为报告不只给结论，还交代了架构、数据构建、训练管线和评估方式，并公开了代码与预训练模型。

资料覆盖的范围比较完整：从模型架构、视觉-语言数据构建（对齐数据、预训练数据、监督微调数据），到训练方法与基础设施，再到多模态性能评估和定性研究。方法上，它在 DeepSeek-VL 的基础上做了两项主要升级，一是视觉侧换用动态分块编码，二是语言侧沿用带多头潜在注意力（MLA）的 DeepSeekMoE。换句话说，这是一次视觉输入端、语言主干和训练数据三处同时调整的改造，并非单点改动。

视觉部分的关键设计是动态分块：把高分辨率输入按需切成局部 tile，每个 tile 过共享的 vision transformer，再把特征整合进语言模型。报告指出，这取代了 DeepSeek-VL 在两个固定分辨率（384×384 和 1024×1024）上抽取特征的混合编码器，好处是既能处理不同宽高比的超高分辨率图像，又不必让计算量随分辨率呈二次增长，同时视觉 token 数量仍可控。语言部分用 DeepSeekMoE 的稀疏计算，配合 MLA 把 Key-Value 缓存压缩成潜在向量，报告称这样能加快推理、提高吞吐。

模型系列有三个变体：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small 和 DeepSeek-VL2，激活参数分别为 1.0B、2.8B 和 4.5B。报告同时提到，语言模型采用 3B、16B、27B 三个 MoE 变体，激活参数分别是 0.57B、2.4B 和 4.1B。这两个口径不同：前者指整个视觉-语言模型的激活规模，后者只指语言主干，引用时需要分清。评估方面，图 1 把 MMBench v1.1、MMStar、MMMU（Val）、MathVista（TestMini）、AI2D（Test）和 OCRBench 的准确率取平均，其中 OCRBench 分数除以 10 换算到 0–100。报告称，与现有开源稠密模型和 MoE 模型相比，DeepSeek-VL2 在相近或更少激活参数下取得有竞争力或最优的表现。

这些设计放在一起，指向一个明确的取舍：用稀疏激活控制推理成本，用动态分块把高分辨率能力保住。这意味着在文档、表格、图表这类需要看清细节的任务上，模型不必为了分辨率付出不成比例的计算代价；MLA 对 KV 缓存的压缩则直接影响吞吐，对实际部署更关键。数据侧的改进还带来了视觉定位和 GUI 感知这类此前未覆盖的能力，换句话说，能力边界是被数据配方推着走的，并不只由模型结构决定。

读这份资料，能拿走的是 DeepSeek-VL2 的整体技术路线：动态分块编码、MLA 加 MoE 的语言主干、三档模型规模，以及它在多任务上的定位。需要注意的是，材料中可用的定量信息主要是图 1 的平均分对比，各基准的分项得分、具体训练超参和数据配比并未展开；激活参数的两个口径也容易混淆，引用时要区分清楚。它更像一份架构与训练方法的官方说明，适合想了解 MoE 视觉语言模型如何搭建、效率从哪里来的读者，而非逐项刷榜的评测清单。

DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding Zhiyu Wu∗, Xiaokang Chen∗, Zizheng Pan∗, Xingchao Liu∗, Wen Liu∗,†, Damai Dai, Huazuo Gao, Yiyang Ma, Chengyue Wu, Bingxuan Wang, Zhenda Xie, Yu Wu, Kai Hu, Jiawei Wang, Yaofeng Sun, Yukun Li, Yishi Piao, Kang Guan, Aixin Liu, Xin Xie, Yuxiang You, Kai Dong, Xingkai Yu, Haowei Zhang, Liang Zhao, Yisong Wang, Chong Ruan‡ DeepSeek-AI Abstract We present DeepSeek-VL2, an advanced series of large Mixture-of-Experts (MoE) Vision- Language Models that significantly improves upon its predecessor, DeepSeek-VL, through two key major upgrades. For the vision component, we incorporate a dynamic tiling vision encoding strategy designed for processing high-resolution images with different aspect ratios. For the language component, we leverage DeepSeekMoE models with the Multi-head Latent Attention