DexGraspNet 2.0：大规模合成杂乱场景中的生成式灵巧抓取学习

杂乱场景中的灵巧抓取长期受制于数据稀缺：真实世界难以大规模采集带标注的抓取数据，灵巧手的高自由度又让问题更难。DexGraspNet 2.0 要回答的正是，能否用大规模合成数据支撑生成式灵巧抓取，并让模型从仿真走到真实杂乱场景。北京大学与 Galbot（银河通用）给出的答案包括一个大规模合成基准、一套两阶段抓取方法，以及在真实场景中的零样本迁移结果。对关心灵巧操作数据瓶颈和 sim-to-real 的读者，这份资料值得现在看，因为它把“数据规模”和“真实可用性”放在了同一条线索上。

覆盖范围上，这份资料构建的基准包含 1319 个物体、8270 个场景和 4.27 亿个抓取，场景类型是杂乱场景，目标是灵巧手抓取。方法侧，它提出以局部几何为条件的扩散模型两阶段抓取方法，把扩散模型、局部几何条件和两阶段流程结合起来。迁移侧，它借助测试时深度修复实现零样本仿真到真实迁移。换句话说，数据来源以大规模合成为主，方法核心是生成式建模加局部几何条件，落地环节则用测试时深度修复处理仿真与真实观测之间的差异。

关键数字首先落在基准规模上：1319 个物体、8270 个场景、4.27 亿个抓取。这个量级直接对应灵巧抓取的数据稀缺问题——抓取样本不是几十上百条，而是以亿计，场景也不是单一布局，而是杂乱场景。编辑导读把它概括为“大规模合成基准”，这意味着它的首要贡献不是某个单点算法，而是为生成式抓取提供可训练、可评测的数据底座。对于长期受限于真实数据采集成本的灵巧手研究，这种规模本身就是结论的一部分。

方法上的关键发现是“以局部几何为条件的扩散模型”与“两阶段抓取”的组合。扩散模型是生成式方法，局部几何条件则把生成过程锚定在物体附近的几何结构上，这是对“以局部几何为条件”的直接解读；两阶段流程提供了分阶段处理的框架，材料没有展开两阶段的具体分工。更值得注意的数字是真实杂乱场景中 90.7% 的灵巧抓取成功率，且这是借助测试时深度修复实现的零样本仿真到真实迁移。换句话说，模型没有在真实数据上微调，却能在真实杂乱场景中达到这一成功率，这是这份资料最有分量的实证结果。

这些结论意味着，合成数据加生成式建模有可能把灵巧抓取从“数据不够”推进到“数据够用但要看迁移质量”的阶段。4.27 亿个抓取和 8270 个场景提供了覆盖杂乱布局的训练信号，局部几何条件则让扩散模型在生成时受到物体附近几何结构的约束。测试时深度修复的作用尤其关键：它在测试阶段处理真实深度输入，从而缩小仿真与真实的输入差距。对实践而言，这提示一条可操作的路径——先在大规模合成杂乱场景中训练生成式抓取模型，再把迁移成本放在测试时修复而非真实数据采集上；当然，90.7% 是在真实杂乱场景下得到的结果，不能直接外推到所有物体和场景。

适合读这份资料的人，包括做灵巧手抓取、生成式操作策略、合成数据基准和 sim-to-real 迁移的研究者与工程团队。读完能拿走三样东西：一个明确的大规模合成基准规模，一套以局部几何为条件的扩散模型两阶段方法，以及一个零样本迁移到真实杂乱场景的成功率参照。边界也需要点明：材料只给出了基准规模、方法要点和 90.7% 这一结果，没有展开失败案例、物体类别分布、真实实验设置细节，也没有与其他方法做系统对比。因此，这份资料更适合作为方向判断和基准引用的起点，而不是完整的工程复现指南；解读其结论时，应把“合成基准的规模”和“真实场景的成功率”分开看。