science 论文机器人与具身智能制造与能源2026-11-04

触觉到底哪一路有用?真机对照研究:marker-flow 最关键

在 LeRobot 平台上对视觉触觉 RGB、深度/法向、marker-flow 做对照:720 次真机试验显示加入触觉使总成功率 57.8%→78.9%;单线索中 marker-flow 达 74.4%,对已建立接触后的调控尤其重要。

发布时间
2026-11-04
link 原始页面

notes 内容介绍

视觉触觉传感器一次能输出好几路信号:RGB 图像、深度与法向、以及 marker-flow。做接触丰富的模仿学习时,这些线索通常被打包成「触觉」整体来用,效果提升也常被笼统归因于「加了触觉」。这份资料要回答的问题更细一层:真正起作用的是哪一路,编码与融合方式又占多大分量。之所以值得现在看,是因为「触觉有用」已不算新结论,而选型、布线和编码这些具体决策,恰恰需要把线索拆开、在真机上逐项对照的证据。

研究在 LeRobot 平台上做真机对照,把视觉触觉传感器提供的 RGB、深度/法向、marker-flow 三类线索分别拿来比较,同时评估不同的编码器与视触融合策略。全部结论建立在 720 次真机试验之上,而非仿真环境里的数字,这意味着结果里包含了真实接触的噪声、时序与硬件差异。资料已被 IEEE ROBIO 2026 接收,说明这套对照设计经过了同行评议。换句话说,它提供的不是单点演示,而是一组在统一平台上可横向比较的读数。

最粗的一层结论是:加入触觉后,总成功率从 57.8% 升到 78.9%,相差约 21 个百分点。这个幅度足以说明触觉在接触丰富任务里不是锦上添花。再拆到单一线索,marker-flow 拿到 74.4%,是所有单线索中最高的。值得注意的是,74.4% 仍低于含触觉整体的 78.9%——换句话说,最好的一路单独使用,也追不上多路线索一起用,这提示「只挑最优一路」并不是最优策略。

marker-flow 在单线索中领先,材料给出的解释是它对「已建立接触之后的调控」尤其重要。可以这样理解:接触一旦成立,后续的微调、抗滑与力度维持是另一类问题,marker-flow 这类反映表面形变的信号在这个阶段提供的信息更直接。另一条发现是线索因子化编码能 consistently 提升表现,也就是说,除了「用哪路信号」,「怎么把它们分开编码」本身就是一个独立变量。两点合起来看,性能差异既来自传感器的物理量,也来自表征方式。

对实践的影响,首先体现在评估方式上:笼统报一个「加了触觉提升多少」已经不够,至少要知道增益来自哪一路,否则换传感器或换任务时就无法判断能否复现。如果只能保留少量线索,marker-flow 是应当优先留下的那一路,尤其在任务包含大量接触后调控的阶段。在编码层面,因子化处理看起来比把线索混在一起更稳,选编码器时不妨把它当作默认假设去验证。720 次真机试验这个量级也提示,后续工作若想宣称超过它,需要拿出同等级别的真机证据。

做接触丰富操作、模仿学习与视触融合的读者,能从这里拿走的是一组可对照的成功率读数、一个单线索的排序,以及「因子化编码」这个具体取向。边界也需要说清楚:结论集中在成功率这一层,换到其他平台、其他传感器、其他物体集合上是否同样成立,资料没有给出证据。编码器与融合策略之间的具体差异,材料也只给了方向性判断,没有展开细节。把这些当作选型时的先验、而不是可以直接照搬的配置,会更稳妥。