Bench2Dex跨多种灵巧手的视触觉双手灵巧操作基准

触觉能提供视觉难以推断的接触信息，但灵巧手的触觉硬件还没有收敛到一种通用设计。不同手在手指结构、接触表面和传感器布局上各不相同，仿真触觉信号与物理传感器的实际测量之间也仍有差距。这两件事叠在一起，使得“在一套一致的实验设置里比较多种灵巧手上的视触觉操作”变得很难。现有操作基准大多围绕固定机器人平台、单一夹爪或手型、少数传感模态搭建；材料中的对比表里，LIBERO、RoboCasa、DROID 等代表性基准都只覆盖 1 种具身，DexMimicGen 覆盖 3 种。Bench2Dex 要回应的正是这个缺口。

Bench2Dex 是一个仿真基准，建在 Isaac Lab 上，覆盖 12 种灵巧手和 26 个双手操作任务，包含约 1.3K 条人类遥操作演示轨迹。它的做法不是给每种手单独配一套触觉模型，而是改造现有机器人模型，加一个共享的仿真触觉接口，把局部接触几何转换成类图像的触觉观测。这个接口追求的是跨手形态的一致观测格式，作者明确表示并不试图复现某个特定物理触觉传感器的输出。任务围绕工具使用、铰接物体交互和多阶段操作展开，物体与场景有一定跨度。

数据侧，每条记录同步保存 8 种模态，包括 RGB 图像、深度图、关节状态、物体状态、共享视触觉表示、2D/3D 边界框和占用栅格。任务带有结构化场景描述，并用可执行的成功条件和进度条件打分，而不只给一个二值成功判定。鲁棒性评测把七种扰动类型分成两组：不变性轴上，扰动不改变正确动作；等变性轴上，正确动作应随扰动一起变化。这种分法给“鲁棒”一个可检验的含义——策略该稳的时候稳，该跟着变的时候变。

基准上评测了 ACT、Diffusion Policy、π0.5 和 GR00T N1.5 四种策略，报告它们的性能与失败模式。更值得看的是评测设置本身：同一套任务、同一套观测格式、同一套度量，跨 12 种手运行。材料没有给出各策略的具体分数和排名，因此无法据此判断谁更强；能确定的是，它把“策略在某只手上失败”和“策略没见过这只手”变成了可以在同一实验里拆开看的两个问题。作者也指出，一只手上有效、另一只手上失效的策略不一定是更弱的策略，可能只是训练时没有接触过那种手形。

这些设计的实际影响在于比较方式。跨具身的数据采集与统一触觉接口放在一起，使研究者可以检查策略是否真的在使用接触信息，而不是拟合某一种手的触觉布局。可执行的进度条件让长程多阶段任务的中间状态可评分，便于定位失败发生在哪一步；不变性/等变性两轴的扰动分组，则让泛化测试有明确的预期方向，而不是笼统地说“加了扰动”。换句话说，这套基准的价值不只在任务数量，更在于把具身差异、触觉表示和评测协议绑在同一个框架里。

做视触觉学习、跨具身策略迁移、灵巧手遥操作数据采集的读者，可以从中拿到一套可复现的实验设置：12 种手、26 个任务、8 种同步模态、开源训练与推理及遥操作代码，以及一组已经跑过的策略基线。边界也要说清楚：作者不假设仿真触觉观测能替代真实触觉传感，只把它当作触觉硬件和仿真模型仍在演进时的一个共享开发环境，因此这里得到的结论不能直接搬到物理手上。另外，材料只说明报告了性能与失败模式，未给出具体数值，引用相关结论时需要回到原文核对。

Bench2Dex: Benchmarking Visuo-Tactile Bimanual Dexterous Manipulation Across Dexterous Hands Zhenjie Yang3* Yideng Zhang1* Dongjie Zhang2,5* Chenyu Jiang2,5* Xianshuai Liu1 Yufeng Li1,5 Zuhao Ge2 Xingyu Jiao2,5 Zheng Zhang1 Kaiyu He1 He Wang1 Yuwen Zhong1 Yi Deng1 Muyun Jiang7 Xianliang Huang2 Haisheng Su1 Donghang Zhang4 Jian Zhang4 Xue Yang1,6 Hongyang Li3 Zuxuan Wu2 Yu-Gang Jiang2 Xiaosong Jia2† Junchi Yan1† 1 Shanghai Jiao Tong University 2 Fudan University 3 The University of Hong Kong 4 Inspire Robots 5 Zhongguancun Academy 6 COWARobot Co. Ltd 7 Nanyang Technological University * Core contribution † Corresponding authors Contact:[email protected],[email protected] [Project Page] [Full Code] [Huggingface] [ModelScope] [Documentation] Figure 1. Overview of Bench2Dex.Bench2Dex is a simulation benchmark for bimanual dexterous manipulation with