DexTaG：灵巧操作强化学习中的触觉引导

这份资料关心的是一个具体的数据瓶颈：用数据手套采集的灵巧手演示，能不能真正变成机器人可执行的操作策略。手套式运动捕捉被看作采集灵巧手演示数据的可扩展途径，演示者可以近乎裸手地直接操作物体，手套只负责记录手部位姿。但人手和机器人手之间存在运动学差距，录制的动作不能直接在机器人上回放，接触丰富的工具使用任务尤其如此，比如把平放的工具拿起来并在手中重新定向到功能抓握。DexTaG 由 Han Yang、Yian Wang、Yunlong Song、Zhenjia Xu 和 Chuang Gan 提出，署名机构为 University of Massachusetts Amherst 与 Genesis AI，项目页和论文都把「触觉」放在方法的核心位置。

从范围上看，这份工作提出的是一个触觉引导的强化学习框架，训练时的接触监督来自数据采集手套测到的触觉读数，而不是从参考几何里推断接触。整个流程有三个环节：把测得的全手触觉读数写进 RL 奖励，引导策略搜索朝向人类接触模式和抓握配置；在同一个物体的所有训练轨迹上联合训练一个可泛化的重定向器，而不是为每条参考轨迹单独训练策略或求解优化；再把重定向器蒸馏成一个无触觉的学生控制器，以目标物体轨迹为条件、使用视觉—本体感受反馈，用于真实世界部署。评估放在两个接触丰富的工具使用任务上，marker-pen 和 hammer，两者都要求从平放状态拾取工具并在手中重新定向；另外还在 OakInk2 上做了与 ManipTrans 的扩展性比较。

材料里最值得注意的发现，是「用测量到的触觉替代几何推断」带来的差别。按照论文的说法，手—物体位姿参考本身带有视觉物体位姿估计的误差，运动跟踪可能因此和接触获取发生冲突；在他们采集的演示中，参考指尖在拾取阶段可能一直和物体分开，锤子手柄这类细物体尤其明显，同时跟踪手和物体位姿反而会抑制建立接触所需的调整。基于距离的接触启发式继承的是同一套不完美的参考几何，而手套触觉信号直接记录了人手的接触模式。消融实验显示，触觉引导奖励让策略能从带噪声的位姿参考里学出抓握，去掉这些奖励的训练则失败；这些奖励同时促使操作和接触模式更接近人类。

效率方面的结论同样清楚。DexTaG 不为每条参考轨迹单独拟合策略，而是在同一对象的所有训练轨迹上训练一个重定向器，并借助一段长时域的未来参考帧窗口，让策略能泛化到同一任务内的留出参考，不必按轨迹重新训练。仿真结果显示，增加训练参考的数量总体上会提升重定向器和控制器在训练轨迹与留出轨迹上的跟踪表现；在 OakInk2 上与 ManipTrans 的扩展比较中，随着参考轨迹数量增加，DexTaG 保持性能，而基线变体出现退化。蒸馏出的无触觉学生控制器则在真实世界实验中完成了执行，这意味着部署阶段不需要机器人本身配备触觉硬件。

这些结论对做灵巧操作数据管线的团队有直接参考价值。换句话说，当参考几何不可靠时，把接触测量直接作为奖励信号，可能比继续在几何上做距离启发式更稳；把重定向器做成跨轨迹共享的单一模型，则能缓解演示数据增长带来的重复计算；教师—学生蒸馏把触觉从部署条件里拿掉，降低了硬件门槛。需要说明的是，这些判断基于材料给出的定性描述和消融结论，摘要与正文并没有给出具体的成功率或数值指标，因此不能把它们当成量化收益来引用。

这份资料适合研究灵巧操作、模仿学习与强化学习重定向，以及用手套或触觉设备采集演示数据的研究者和工程师阅读。读完可以拿走三样东西：一种把全手触觉读数写进 RL 奖励的奖励设计思路；一个在同类物体多轨迹上联合训练单一重定向器、并向留出轨迹泛化的流程；以及把重定向器蒸馏成无触觉控制器的部署路径。边界也要看清楚：材料只覆盖 marker-pen 和 hammer 两个任务以及 OakInk2 上的比较，真实世界实验仅提到用蒸馏控制器完成执行，没有展开规模；这份预印本新近发布、被引为零，结论还需要更多任务和独立复现来检验

DexTaG: Tactile-as-Guidance in Reinforcement Learning for Dexterous Manipulation https://dextag.github.io/ Han Yang1, Yian Wang1, Yunlong Song 2, Zhenjia Xu 2, and Chuang Gan 1 Fig. 1. We present DexTaG, a tactile-guided RL framework for dexterous manipulation that uses contact measurements from a data-collection glove. From data collection to policy training, the pipeline enables non-trivial tool-use tasks involving in-hand reorientation. Abstract— Glove-based motion capture is emerging as a scalable approach to collecting dexterous-hand demonstration data. However, due to the kinematic gap between the human and robot hand, the recorded human motions cannot be executed directly on the robot, especially for contact-rich tool- use tasks involving in-hand reorientation. Prior work bridges this gap in simulation through reinforcement learning (RL)