面向机器人操作的世界价值模型

通用价值模型要在机器人策略学习里承担「打分」的角色：从大规模、混合质量的数据中给出任务进度信号，既服务于在线强化学习，也用作离线数据过滤器。难点在于，准确的价值估计在数学上要求模型同时具备两种能力，用历史上下文锚定当前信念，并对未来结果做前瞻性规划。而现有机器人价值模型大多架在 Vision-Language Model backbone 上，这类 backbone 的预训练以静态或时间稀疏的视觉观测为主，恰恰缺这两种能力。这份资料值得现在看，是因为它没有在 VLM 上继续打补丁，而是主张换一个基础：世界模型天然擅长时间建模与未来规划，因而更适合作为学习可泛化价值函数的底座。

作者给出的答案是 World Value Model（WVM）。它从预训练的视频世界模型继承时空先验，把视频流与一个轻量的 value Diffusion-Transformer 通过 Mixture-of-Transformers 架构耦合起来，让 value token 有选择地关注结构化的 video latents，同时在训练中尽量减少对视频生成流的表征干扰。价值函数没有做成标量回归，而是表述为 distributional value chunk，用 flow matching 训练；作者称这能提供稠密训练信号与更强表达力，效果优于传统标量监督和常规类别分布。训练阶段还加入 video rewinding 与 value prefix randomization 等增强，目的是让模型在推理时既能预测最优进度，也能处理次优进度。除模型之外，这份资料的另一半工作是评测，提出 Suboptimal-Value-Bench；研究来自 ByteDance Seed、北京大学与清华大学。

作者把现有价值模型的失真归因于三点：对稀疏标量价值监督的依赖造成价值学习低效；面向具体任务的定制让泛化受限；底层 VLM 的稀疏视觉建模直接损害时间理解与未来规划能力。在标准 benchmark 上，WVM 报告了 SOTA 的 Value-Order Correlation（VOC）结果。不过作者同时指出，VOC 这类指标只能反映模型在最优轨迹上的任务进度感知——换句话说，一个模型可以在 VOC 上表现很好，却对真实数据里大量存在的犹豫、重试缺乏分辨力。这解释了为什么要把评测扩展到次优数据，而不止步于专家轨迹。

Suboptimal-Value-Bench 是一个多具身 benchmark，含 800 条次优轨迹，每条配有高保真的人工标注帧级任务进度，覆盖 retry 与 hesitation 两类常见的次优行为模式。从材料给出的构成看，它由 AgileX Mixed 的 200 个 episode、ARX Dual Arms 的 300 个 episode 和 Robosuite Single Arm 的 300 个 episode 组成。WVM 在这个 benchmark 上保持了 SOTA，对照指标包括 Retry 方向的 VOC 与 Hesitation 方向的 RMSE，作者据此说明它对专家数据和次优数据都稳。下游实验中，把 WVM 用作策略学习的价值信号，在仿真与真实世界部署、多种策略提取方法上都带来操作性能提升，材料图示对比的是 BC 与 FILTER BC 两类做法。

这意味着通用价值模型的瓶颈可能不在参数量或数据量，而在 backbone 对时间的处理方式：把一个在视频上学会预测未来的模型挪来做价值估计，时空先验可以直接复用，而不必指望从静态图文对齐里长出时序理解。distributional value chunk 加 flow matching 的选择指向同一件事——价值学习的监督信号太稀疏是长期问题，把标量换成分布、把回归换成匹配，是在提高每个样本能提供的梯度信息。对实践者而言，最直接的两点：一是数据过滤，用这类模型给混合质量数据打进度分，把 retry、hesitation 片段筛掉；二是策略学习，把它当作价值或奖励来源。Suboptimal-Value-Bench 本身也算一件公共品，因为此前缺少带人工标注的次优轨迹评测集。

关心机器人价值函数、从混合质量数据中学习、以及世界模型迁移应用的读者，会在这里找到一条比较完整的线索：从动机（VLM 缺时序），到架构（MoT

World Value Models for Robotic Manipulation Zhihao Wang 1,2,3,Jianxiong Li 1,3,†,Yu Cui 1,§,Yuan Gao 3, Xianyuan Zhan 3,Junzhi Yu 2,§,Xiao Ma 1 1ByteDance Seed, 2Peking University, 3Tsinghua University †Project Lead, §Corresponding Author Abstract Generalist value models play a pivotal role in scaling robotic policy learning from large-scale, mixed- quality data. Mathematically, accurate value estimation demands deep temporal understanding, requiring models to both ground the current belief using historical context and plan over future outcomes. However, most existing robotic value models are built on Vision-Language Model (VLM) backbones that are pretrained primarily on static or temporally sparse visual observations, lacking the requisite temporal modeling capabilities for value estimation. Unlike VLMs, world