TouchWorld：面向灵巧操作的预测与反应触觉基础模型

灵巧操作要同时做到预判和反应：机器人既要预测接触应当如何演化，又要在打滑、对位偏差、抓取不稳或力不匹配时迅速纠正局部误差。视觉和语言能提供语义与几何层面的指引，却无法可靠暴露力、滑移、接触稳定性这类隐藏的接触状态；触觉虽然能提供这些物理线索，但多数已有策略只把触觉当作一路低频观测输入，塞进单体式动作模型里，让慢速任务推理、动作生成和快速接触反馈挤在同一个控制回路中。TouchWorld 要回答的就是这个问题：如果把语义规划、触觉世界模型预测、视触觉动作生成与触觉条件化的反馈精修显式拆开，触觉基础策略能否在接触密集、长时序的操作中更稳健。

方法上它是一套分层策略，按时间尺度切成三段：High-Level Planning Layer 以 1 Hz 运行，Visuo-Tactile Goal-Conditioned Policy 以 10 Hz 生成动作块，Reactive Tactile Refinement Layer 以 30 Hz 做在线残差修正。数据侧，材料提到两类来源，一是用于预训练的人类全手触觉数据，二是机器人灵巧手的触觉数据；任务设置覆盖长时序规划、接触密集场景下的触觉预测、扰动下的反应控制以及双臂操作。评测在六个长时序、接触密集的灵巧操作任务上完成，正文举到的具体例子包括浇花、插电源插头、插杯子和抽纸巾。

设计上的关键在于，触觉被用在两条互补的通路上。High-Level Planning Layer 里的 Subtask Planner 产出可执行的子任务，Tactile World Model 预测当前子任务的触觉子目标，也就是把“接触应该变成什么样”变成显式的预测参考；Visuo-Tactile Goal-Conditioned Policy 再结合子任务、预测出的触觉子目标、视觉观测、本体感觉与触觉观测，生成名义动作块。换句话说，触觉在这里不只是追加的输入 token，而是先充当目标、再充当反馈信号参与控制。

反应通路由 Tactile-Conditioned Refinement Policy 承担，它在机器人控制回路内用最近的触觉与本体感觉历史刷新局部残差修正，相当于在名义动作块之上再叠一个高频纠偏层。数字方面，六个任务中 TouchWorld 在无扰动设置下成功率为 65.0%，在人类扰动下为 53.7%，分别比最强基线高出 15.7 和 18.5 个百分点。这组对比值得注意的地方在于，差距在扰动条件下反而扩大，说明分层与高频修正带来的收益，主要出现在接触被打断、需要即时反应的时刻。

这意味着，接触密集操作的瓶颈未必是语义理解不够，而是把几个不同时间尺度的控制问题压进了同一个模型。把慢速推理、中速动作块生成和快速触觉反馈分到 1 Hz、10 Hz、30 Hz 三层之后，视觉-语言-动作策略的语义泛化能力得以保留，局部接触适应则交给专门的精修层补上。对做灵巧手或接触密集任务的团队来说，这是一个可直接借鉴的架构取舍：触觉既要当预测目标，也要当快速反馈通道。

适合关注触觉基础模型、视触觉策略与灵巧手操作的研究者和工程团队阅读。读完能拿到一套按时间尺度分层、并把触觉同时用作预测参考与反馈信号的完整方案，以及一组可与基线对齐的成功率数字。边界也清楚：结论建立在作者选定的六个长时序、接触密集任务上，扰动形式是人类扰动，材料没有给出跨机器人平台或更大任务分布的验证，因此这些数字更应被读作该架构在特定评测集上的证据，而不是普遍的性能承诺。

TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation Jianyi Zhou 1,2∗,Feiyang Hong 1,2∗,Yunhao Li 1,2∗,Yicheng Zhao 1,2,Yongjue Cen 1,2,Zirui Liu 1,2,Jiakang Huang 1,2, Zirui Chen 1,2,Ruiyang Zhang 1,2,Weizhuo Zhu 1,2,Xuhua Song 1,2,Shuo Yang 1,2✉ 1Harbin Institute of Technology, Shenzhen 2PHANES AI ∗Equal contribution, ✉Corresponding author Abstract Dexterous manipulation in everyday environments requires both anticipation and reaction: a robot must predict how contact should evolve while rapidly correcting local errors caused by slip, misalignment, unstable grasping, or force mismatch. Vision and language provide semantic and geometric guidance, but they cannot reliably reveal hidden contact states such as force, slip, and contact stability. Although tactile sensing exposes these physical cues, most existing policies