Tac2Pix：面向灵巧操作的图像空间视触觉融合

灵巧操作里视觉与触觉天然互补：视觉提供稠密且带空间结构的观测，触觉直接测量接触事件与力的大小，在视觉证据不完整或被遮挡时仍然有用。但两者的表示形式根本不同——触觉测量稀疏、异构，并且分布在机器人本体上——这使得在潜空间做融合时很难建立显式的空间对应。资料切入的角度是：每个触觉测量都锚定在机器人运动链的已知位置上，这个定位先验能否用来构造一个与视觉显式对齐的共享表示？现在值得看的地方在于，它没有把跨模态对应留给策略从有限示教中去推断，而是先用几何关系把对应关系固定下来。

Tac2Pix 的做法是把触觉搬进像素空间：先归一化触觉传感器的响应，再用正向运动学与相机标定把每个测量投影到 RGB 图像平面，渲染成力感知的显著图（force-aware saliency maps）。因为触觉与视觉处在同一套像素坐标里，后续可以直接复用预训练的 2D 视觉表示。作者还借鉴 ControlNet 的思路引入零初始化输入适配，在视觉编码器上增加一路触觉显著通道，同时让预训练的 RGB 通路在初始化时保持原样。评估覆盖三个仿真任务与三个真实世界灵巧操作任务，跨四种策略架构和多种视觉骨干。

仿真部分最值得注意的是结果的一致性：Tac2Pix 在不同任务、不同策略架构、不同视觉骨干上都改善了视触觉策略学习。换句话说，增益看上去并不绑定某一个特定的编码器或策略网络，而是来自「触觉以像素形式对齐视觉」这一层接口本身。这也把它与两类既有做法区分开：隐式融合分别编码两种模态，再用拼接、调制或注意力合并，对应关系只能从任务数据里学；把触觉提升到 3D 表示的路线空间推理能力强，但通常需要深度传感或专门的 3D 处理，复用快速迭代的 2D 预训练表示不那么直接。

真实世界实验里，视觉遮挡条件下 Tac2Pix 的平均成功率比最强的隐式融合基线高出 26.7 个百分点，而且这一增益在随机遮挡与物理遮挡两种设置下都保持。遮挡恰好是触觉信息最有价值的场景：RGB 看不到接触点，但接触点在机器人本体上有确切位置。经典范式在遮挡下容易丢失空间对应，而把接触显式投影成图像空间的显著图，等于在特征学习之前就把这份对应关系写好了。

这意味着图像空间可以作为一种实用的融合接口，而不必非在潜空间或 3D 空间里解决稀疏触觉与稠密视觉的匹配问题。对实践的影响是：已经在用 2D 视觉骨干和预训练表示的管线，可以用较轻的改动接入触觉——一路显著图通道加零初始化适配，不需要替换编码器或重做策略结构。代价是这套接口建立在已知的机器人运动链与相机标定之上，几何关系越准，投影才越有意义。作者本人也把结论限定为支持「图像空间是有效接口」，并未声称它取代 3D 路线。

关心视触觉融合与灵巧操作策略学习的研究者、工程团队可以读，尤其是已经在用预训练 2D 视觉骨干、想以较低成本加入触觉信号的人。读完能拿走的是一套明确的思路：先用手眼几何把触觉放到图像平面，再让预训练视觉通路去消化它，以及一个真实遮挡场景下 26.7 个百分点的参照。边界也需要说清楚：材料只给出摘要与引言层面的信息，没有各任务的绝对成功率、方差、传感器型号与失败案例分析，投影对标定误差的敏感程度也未展开；3D 提升路线在空间推理上的价值并未被否定，只是复用 2D 表示这条路更绕。

TAC2PIX: IMAGE-SPACEVISUO-TACTILEFUSION FOR DEXTEROUSMANIPULATION Shengcheng Luo1,2∗, Kefei Wu1∗, Xiaoying Zhou1, Wanlin Li2, Ziyuan Jiao2†, Chenxi Xiao1† 1ShanghaiTech University, 2Beijing Institute for General Artificial Intelligence RGB URDFFKto 3D locations Project to cameraImage Tactile-to-Image Tac2Pixinput 1DTactile Implicitinput Force-modulated GaussianSaliency RGB Force-aware 2DTactile Tac2PixFramework √ Tactile + Vision SpatialAlignment Occlusion Tac2PixParadigm Tactile + Vision XSpatialDisorder Occlusion ClassicalParadigm Implicit Fusion Geometric Alignment Figure 1:Overview of Tac2Pix. Classical tactile-vision fusion relies on implicit multimodal em- beddings that often lose spatial correspondence under occlusion. OurTac2Pixparadigm explicitly projects tactile contacts onto image-space saliency maps, producing a force-aware and spatially