统一视觉-语言-动作模型

机器人操作领域的 vision-language-action 模型近年受到不少关注，但多数做法是先借助 vision-language model 的通用理解能力，把视觉观察投影到语义空间，再据此导出动作。UniVLA 的作者认为，这种语言中心的 late-fusion 策略虽然有利于语义理解和泛化，却限制了深度耦合的跨模态表示的形成，也阻碍模型学习感知—动作回路中的时序与因果依赖。换句话说，模型面对的是静态图像到动作的映射，真实交互里连续变化的动态信息被丢掉了。这正是这份材料试图回答的问题：视觉、语言和动作能不能放进同一个表示空间里联合建模。

论文给出的答案是统一到离散 token。UniVLA 把视觉、语言、动作三种信号全部转换为离散 token，共享一个词表，再用自回归的马尔可夫链式序列建模，让观察与动作交错出现。作者指出统一建模要面对三重异构性：视觉是高维连续的空间信号，语言是抽象离散的语义，动作是带因果依赖的时序序列；交错序列的结构天然承载因果依赖，模型因而能在时间维度上推理动态，而不是把感知和动作当成两个孤立任务。训练框架同时支持文本监督的感知定位、视觉监督的世界建模和动作监督的策略学习，后训练阶段则引入世界模型，用大规模机器人视频做自监督学习。材料中的示意图也对应了这三类监督：给出一句「pick sponge from top drawer and place on counter」是动作监督，要求定位叉子位置是文本监督的感知，而交错的视频与静态图像则对应视觉监督。

实验结果集中在仿真基准。在 CALVIN、LIBERO 和 SimplerEnv-Bridge 上，UniVLA 都报告了新的 state-of-the-art，作者称显著超过此前方法。最具体的数字是 LIBERO 上的 95.5% 平均成功率，对比 π0-FAST 的 85.5%，高出十个百分点。材料没有给出 CALVIN 和 SimplerEnv-Bridge 的逐项分数，只能确认作者对这两个基准同样给出了刷新结果的表述。

另一个值得注意的发现是世界模型后训练的作用。作者称，在后训练中让模型从视频里捕捉因果动态，能明显提升下游策略学习，长时程任务和分布外任务上尤其突出。这一做法同时改善了数据效率和训练效率，使模型可以较快迁移到新的机器人任务。除动作输出之外，模型还展示了空间推理与视觉预测等多模态输出能力，并被扩展到真实 ALOHA 操作和自动驾驶场景。不过材料对这两个真实场景只有定性描述，没有给出对应的量化指标。

这意味着，把动作与视觉、语言统一成 token 序列，最关键的变化是让视频从「只能观看的演示」变成可自监督的训练资源，模型可以在缺少动作标签的片段里学习环境动态。对做机器人策略的团队来说，预训练数据的来源因此可以更宽，后训练阶段面向长时程任务的迁移也有了明确的着力点。这是解读而非材料中的原话，但它的直接依据是作者反复强调的「视频中的因果动态」与「长时程任务提升」之间的关联。反过来说，这套逻辑能否成立，取决于离散化是否损失动作精度，而给定材料没有展开 tokenizer 的设计细节。

做 VLA、机器人操作策略和多模态序列建模的研究者，可以从这份材料里拿到一个清晰的问题框架：语言中心范式为什么不够、统一 token 表示具体怎么做、世界模型后训练带来什么收益。工程团队能带走的是 LIBERO 上 95.5% 对 85.5% 的对比，以及「视频自监督加后训练」这条路线判断。作者来自 CASIA、BAAI、THU 和 HKISI，材料本身是 arXiv 预印本，处于 under review 状态，边界也很明显：量化结果集中在仿真基准，真实 ALOHA 与自动驾驶只有定性描述，视频数据规模、消融实验和失败案例都没有出现在给定材料里。

arXiv:2506.19850v1 [cs.CV] 24 Jun 2025 Unified Vision-Language-Action Model Yuqi Wang1∗ Xinghang Li2 Wenxuan Wang1,2 Junbo Zhang3 Yingyan Li1 Yuntao Chen4 Xinlong Wang2 Zhaoxiang Zhang1 1 CASIA 2 BAAI 3 THU 4 HKISI Project page: https://robertwyq.github.io/univla.github.io VIT LanguageModel Actionoutput Multi-modalModel Multi-modaloutput UnifiedPost-trainTasks WorldModelPerceptionGrounding UnifiedVision-Language-ActionModel Instruction: pick sponge from top drawer and place on counter Instruction: locate the position of the fork Text Supervision Interleaved VideoStatic Image LIBERO BRIDGE Policy Learning Instruction: Put spoon on the towel VisionSupervision ActionSupervision [x, y, z, roll, pitch, yaw, gripper] [x1,y1,x2,y2] [0. 1, 0. 2, 0. 1, 0. 01, 0. 01, 0. 0, 0. 5] [0. 1,-0.1,0.1,0.02,0.01,0.2,0.8] CALVIN Figure 1: We present UniVLA, a unified vision-language-action model.