搜索结果

在 LeRobot 平台上对视觉触觉 RGB、深度/法向、marker-flow 做对照：720 次真机试验显示加入触觉使总成功率 57.8%→78.9%；单线索中 marker-flow 达 74.4%，对已建立接触后的调控尤其重要。

机器人若要在日常生活中帮人做事，就不能只停留在观察层面，而必须进入物理世界并与各种物体发生接触。接触一旦发生，视觉往往因为遮挡或自身固有限制，难以稳定给出接触几何和力的信息。这份由 Wang, Shaoxiong 完成的 MIT 博士论文《面向操作的交互式触觉》，把问题落在“如何用触觉支持机器人操作”上。

机器人把物体抓起来之后，动作往往还没有结束。真正的难点出现在被夹住的物体与环境接触的那一刻：机器能否察觉这种接触，并据此调整动作。这份博士论文提出的 TEXterity（Tactile Extrinsic deXterity，触觉外在灵巧性）正是围绕这个问题展开，目标是让机器人感知并利用被抓物体与环境之间的外部接触，以此提升操作的灵巧程度。

面向灵巧机器人操作的视触觉感知

灵巧操作里视觉与触觉天然互补：视觉提供稠密且带空间结构的观测，触觉直接测量接触事件与力的大小，在视觉证据不完整或被遮挡时仍然有用。但两者的表示形式根本不同——触觉测量稀疏、异构，并且分布在机器人本体上——这使得在潜空间做融合时很难建立显式的空间对应。

触觉能提供视觉难以推断的接触信息，但灵巧手的触觉硬件还没有收敛到一种通用设计。不同手在手指结构、接触表面和传感器布局上各不相同，仿真触觉信号与物理传感器的实际测量之间也仍有差距。这两件事叠在一起，使得“在一套一致的实验设置里比较多种灵巧手上的视触觉操作”变得很难。

灵巧操作里，触觉感知被越来越多的工作看作视觉的补充，它为策略提供接触信息。问题卡在数据上：视觉-触觉的机器人数据一直不够，数据不够，再好的触觉表征也无从训练。这份资料针对的正是这个缺口，先解释数据为什么稀缺，再讨论借用人类演示来扩数据需要什么前提。