assessment 研究报告机器人与具身智能其他2025-05

GraspVLA:基于十亿级合成动作数据预训练的抓取基础模型

OriginalGraspVLA: a Grasping Foundation Model Pre-trained on Billion-scale Synthetic Action Data

探索完全用大规模合成动作数据训练VLA的可行性。

发布时间
2025-05
link 原始页面

notes 内容介绍

具身基础模型近来的卖点,集中在 zero-shot 泛化和通过 few-shot 后训练适应新任务这两件事上,但这条路有个绕不开的成本:训练数据主要靠真实世界采集,既贵又费人力。合成数据因此被反复提起,可它究竟能不能撑起一个动作模型,尤其是能不能只靠合成动作数据撑起来,此前很少有人把规模推到十亿帧级去正面回答。GraspVLA 值得看的地方就在这里——它把「完全用大规模合成动作数据训练 VLA」当作一个待验证的命题来做,而不是把合成数据当成真实数据的补充或增广手段。

工作围绕一个抓取基础模型展开,数据底座是自建的仿真抓取数据集 SynGrasp-1B,规模达到十亿帧级,全部在仿真环境中生成。为了压窄仿真与真实之间的视觉差异,数据管线采用照片级渲染,并叠加大量域随机化,让训练分布覆盖更宽的视觉变化。训练侧并不只用动作数据:感知任务与基于流匹配(flow matching)的动作生成被统一进一条思维链,同时联合合成数据和互联网语义数据一起训练。换句话说,这是「大规模合成动作数据 + 互联网语义数据」的混合配方,而不是单靠仿真堆量。

从结果看,这条路径是成立的:模型在抓取任务上表现出开放词表泛化能力,也就是面对训练时没有显式枚举过的物体描述,仍能完成抓取。这实际上同时回答了两个问题——十亿帧级的合成动作数据本身能提供足够的动作监督信号,以及动作学习不必与语义理解割裂开来。SynGrasp-1B 的价值因此不只在「大」,还在于它被组织成了可直接训练的形式,而不是一堆躺在磁盘上的仿真轨迹。

方法层面最值得琢磨的是那条思维链。把感知任务和流匹配动作生成放进同一个推理链条,意味着模型在输出动作之前要先完成某种显式的中间判断,而不是从图像直接回归到关节或末端位姿。由此,联合训练的分工也变得清晰:合成数据提供动作层面的密集监督,互联网语义数据提供词汇与语义层面的覆盖,两者的互补正是开放词表泛化的来源。这属于解读,但和材料给出的三点核心要点是自洽的。

这些结论对实践的影响,主要体现在成本结构和工程重心上。如果十亿帧级合成数据能够替代相当一部分真机采集,抓取类模型的迭代节奏就会从「采数据」转向「造数据、调分布」,域随机化程度和渲染质量也随之从提点技巧变成决定成败的关键变量。与此同时,评测的重心会被推向零样本和开放词表条件,也就是模型没见过的物体与描述。需要提醒的是,材料的定位始终是抓取基础模型,把它等同于通用操作能力是过度外推。

做具身模型、VLA 和抓取策略的研究与工程人员,以及正在评估「要不要自建合成数据管线」的团队,都能从中拿到可迁移的东西:一个十亿帧级仿真抓取数据集的组织思路、一套把感知与流匹配动作生成串进思维链的方案、以及联合合成数据与互联网语义数据的训练配方。边界同样明显:材料层面给出的是命题、数据规模与方法框架,具体的真机对比、失败模式、合成与真实之间差距的量化,都需要回到原文核对;把结论外推到抓取之外的任务时更应谨慎。