DexTacWAM：面向灵巧操作的视触觉世界动作模型

灵巧操作里最难的部分，往往不在相机看得见的地方。抓握是否稳固、接触是否正在滑移、多根手指之间如何分担力，这些量从视觉中只能被部分观测。DexTacWAM 要回答的正是：当世界模型已经能从视频里预测场景如何演化，它能否同样预测看不见的接触如何演化，并据此生成动作。近期一批 World-Action Models 把预测性视频世界建模与动作生成耦合起来，但基本仍是视觉中心的——它们建模可见场景的变化，不建模隐藏的物理交互状态。再加上触觉数据远不如视频充足、采集需要真实物理接触与异构硬件，如何在有限触觉数据下复用视觉预训练先验，就成了一个当下值得看的问题。

方法上，DexTacWAM 是一个视触觉 World-Action Model。它对每根指尖的触觉观测独立编码，以保留手指身份与接触局部性，再通过一个 finger- and pose-aware tactile compressor 把逐指特征聚合成紧凑的手级触觉 latent，注入视频扩散世界模型，做联合的视觉—触觉世界建模；得到的联合世界状态交给下游动作专家生成灵巧动作。这里的关键立场是：触觉不只是策略的辅助输入，而是被当作被建模的世界状态的一部分。资料也点明了与以往工作的差别：已有的视触觉世界建模大多在平行夹爪或较简单的末端执行器上研究，触觉感知局部且结构简单；灵巧手的分布式多指触觉还必须处理时序结构，以及依赖手部姿态的接触几何，问题形态并不相同。

数据来源与训练流程是另一处重点。面对视觉数据丰富、触觉数据稀缺的不对称，作者采用 continual vision-to-touch learning：先保持预训练视觉 VAE 冻结，用大约四小时的录制交互适配轻量的触觉编码器组件；随后冻结触觉编码器，用每个任务约 100 个视触觉遥操作演示微调预训练视频骨干，联合做视觉与触觉预测；同样的演示也用于训练动作专家。换句话说，触觉预测能力是从视觉先验与时间视频动力学上延伸出来的，不需要大规模触觉预训练，也不需要触觉 midtraining。资料报告，这样扩展之后，视觉预测质量仍保持在纯视觉对照的 0.5 dB 以内。

评测在 22-DoF 双臂平台上进行，覆盖六个接触丰富的灵巧操作任务，涉及遮挡推理、交接和持续多指接触。DexTacWAM 在每一个任务上都取得最高分，平均 70.6，而最强基线为 38.0。消融实验进一步定位了增益来源：去掉 tactile world modeling、保留同样的触觉特征和动作专家之后，四任务均值从 74.7 掉到 26.6——作者据此把收益归因于把接触演化建模为预测世界状态的一部分，而不只是触觉条件化。此外，那个手指与姿态感知的压缩器保留了融合前 89.4% 的接触召回，同时训练快 2.26 倍、推理快 1.29 倍。

这些结果意味着，视觉预训练的先验可以迁移到分布式多指接触动力学上，而且方式相对省数据、省算力：每任务约百条演示加数小时交互，就足以让一个视频世界模型开始预测触觉。对做接触丰富操作的人来说，这提示了一条路径——不必从零构建触觉模型，而是把触觉接入已有的视频世界模型，让动作专家同时读取可见场景的演化和接触的演化。消融的数字也提醒，触觉起作用的方式容易被误读：单纯把触觉特征喂给策略，与让模型去预测触觉如何变化，效果差距很大。压缩器的数字则说明，保留手指与姿态信息的聚合未必以推理速度为代价。

这份资料适合做灵巧操作、视触觉学习和机器人世界模型的研究者与工程团队读，尤其是正在考虑如何用有限触觉数据扩展预训练模型的人。读完能拿走的是一个具体的架构选择、一套 continual vision-to-touch 的训练配方，以及一组把「预测接触」与「条件化于触觉」区分开的消融证据。边界同样清楚：实验平台是一个 22-DoF 双臂系统和六个任务，触觉适配依赖约四小时的交互录制与每任务约百条演示，这套流程在传感器配置、任务分布或硬件异构性变化时是否依然成立，材料没有给出答案；压缩器的召回与加速数字也限定在作者自己的对比设置之内。

DexTacWAM: A Visuo-Tactile World-Action Model for Dexterous Manipulation Haoran Yuan1,‡ Zekai Wang2 Boning Shao2 Haoran Lu3 Trevor Darrell2 Ismini Lourentzou1,† Wei Zhan2,† 1University of Illinois Urbana-Champaign 2University of California, Berkeley 3Northwestern University ‡Project lead †Equal advising, co-corresponding authors [email protected] [email protected] Abstract.Dexterous manipulation depends on contact dynamics that are often only partially observable from vision. Recent World-Action Models (WAMs) couple predictive video world modeling with action generation, but remain largely vision-centric and therefore cannot directly model these contact dynamics. We presentDexTacWAM, a visuo-tactile WAM that encodes each fingertip independently , aggregates the resulting features through a finger- and