字节跳动 Seed1.5-VL 技术报告

字节跳动 Seed 团队公开的 Seed1.5-VL 技术报告，想回答的是一个很具体的问题：一个参数量相对紧凑的视觉语言模型，凭什么在通用多模态理解与推理上做到前沿水平，以及为此在模型设计、数据构造和训练流程上究竟要付出哪些工作。多数多模态模型的技术披露只给结果不给配方，这份报告把预训练语料按门类拆开、把后训练的各条强化学习路线逐一点名、还单独写了训练基础设施，这种颗粒度在同类材料里并不常见。另一个值得现在看的理由是评测重心的位移：GUI 操作和游戏这类 agent 任务正在成为衡量多模态系统的关键场景，报告在这一块直接给出了与前沿系统的对位结果。换句话说，它不只是一份模型卡，更像一份工程复盘。

覆盖范围从架构一路铺到评测。架构部分讲视觉编码器的设计与 ViT 预训练阶段，以及视频编码怎么处理；预训练部分按数据类型分成图文对与知识数据、OCR、视觉定位与计数、3D 空间理解、视频、STEM、GUI 七个门类，之后是训练配方和 scaling laws 的讨论。后训练部分覆盖监督微调及其数据构造、基于人类反馈的强化学习（其中包括把 VLM 本身当作奖励模型）、带可验证奖励的强化学习、混合强化学习，以及用拒绝采样微调做迭代更新。再往后是训练基础设施、公开与内部评测，末尾还有专门的局限性一节和定性示例。分析所依据的数据来源有两类：60 个公开 VLM benchmark，以及一套自建的内部评测套件，后者在报告里单独交代了设计动机与原则、与 state-of-the-art 的比较和分布外泛化表现。

最核心的两个数字在摘要里就给了：532M 参数的视觉编码器，加上一个 20B 激活参数的 MoE 语言模型。报告自己的措辞是「relatively compact architecture」，也就是架构相对紧凑，但在这个配置下，它在 60 个公开 benchmark 中的 38 个上取得了 state-of-the-art 表现。这意味着参数规模并不是这类系统能力的唯一解释变量，数据构成和训练阶段的设计至少承担了同样重的分量。报告把预训练数据拆成七个门类单独叙述，本身也印证了这一点：能力更像是按数据类型一路补上去的，而不是靠堆参数堆出来的。

在 agent 类任务上，结论更进一步：GUI 控制和 gameplay 这两类场景中，Seed1.5-VL 的表现超过了包括 OpenAI CUA 和 Claude 3.7 在内的领先多模态系统。除了视觉与视频理解，报告还强调它的推理能力，并点名视觉谜题（visual puzzles）这类多模态推理挑战是它格外见效的地方。把这两条放在一起看，报告的隐含主张是：一个模型可以同时覆盖「看懂」和「动手操作」两端，而不必为 agent 场景另起一套系统。后训练部分的安排也支持这个读法——SFT 之后接连排了 RLHF、可验证奖励 RL、混合 RL 和拒绝采样迭代，提升主要发生在后训练阶段的多轮强化上。

这些结论对实践的影响大致有三层。第一层是路线选择：紧凑架构加重后训练被证明可行，对算力预算有限、又想做通用多模态能力的团队来说，这是一个可以照着走的样本。第二层是场景判断：GUI 控制和游戏这类需要连续观察与操作的任务，通用 VLM 已经能直接对位专门系统，原先「agent 能力要另建管线」的假设值得重新评估。第三层是工程重心：报告上线 Volcano Engine，并给出模型 ID doubao-1-5-thinking-vision-pro-250428，说明从技术报告到可调用服务之间的距离相当短；而训练基础设施单独成章，涉及混合并行、负载均衡、并行感知数据加载和容错，说明规模化的瓶颈往往落在这些不显眼的地方。

这份材料适合做多模态模型训练、预训练数据构造、以及 agent 落地的人读。读完能拿走的是一套可对照的流程清单：视觉编码器怎么预训练、预训练语料按什么维度切分、后训练的几种强化学习如何组合、内部评测套件该按什么原则设计。边界也要说清楚：报告设有 Limitations 一节，承认能力有边界；「38/60」这个数字在材料中没有说明具体是哪 38 个 benchmark，也没有给出各项分数；内部评测套件不公开，外部无法复现其结论；定性示例只覆盖视觉推理和地理位置预测等少数类别。把它当作路线参考和流程模板是合适的，当作可直接引用的性能排名则需要回到原始 benchmark 数据去核对。

arXiv:2505.07062v1 [cs.CV] 11 May 2025 Seed1.5-VL Technical Report ByteDance Seed See Contributions and Acknowledgments section for a full author list. Abstract We present Seed1.5-VL, a vision-language foundation model designed to advance general-purpose multimodal understanding and reasoning. Seed1.5-VL is composed with a 532M-parameter vision encoder and a Mixture-of-Experts (MoE) LLM of 20B active parameters. Despite its relatively compact architecture, it delivers strong performance across a wide spectrum of public VLM benchmarks and internal evaluation suites, achieving the state-of-the-art performance on 38 out of 60 public benchmarks. Moreover, in agent-centric tasks such as GUI control and gameplay, Seed1.5-VL outperforms leading multimodal systems, including OpenAI CUA and Claude 3.7. Beyond visual and video understanding, it also demonstrates strong reasoning abilities, making