机器人操作大规模数据集学习的关键因素

机器人操作的模仿学习正把希望寄托在大规模多任务演示数据集上，过去几年全球为此投入了数千小时的采集工作。但采集本身极贵：需要成队的人工操作员、机器人车队和数月人力，评估一个训练出来的策略同样耗时。于是出现一个尴尬局面——数据越堆越多，却没人能系统说清到底该采什么数据、该从现有数据集里取哪些演示。这项工作以 MimicLabs 为名，发表在 ICLR 2025，正是冲着这个问题去的。

它由 Georgia Institute of Technology、The University of Texas at Austin 与 NVIDIA 的研究者合作完成。做法上，它没有直接在真实世界铺开大规模对照实验，而是把仿真和合成数据生成当作试验台：搭一个程序化数据生成器，模拟现有数据集中常见的几类多样性来源——传感器摆放位置、物体类型与纹理、空间布局，再用少量人类演示合成出大量任务及对应演示数据。这样数据集的组成成分可以被精确控制，那些在真实世界做起来成本高到不可行的「如果换一种采法会怎样」的问题，就能成批地问。研究沿两个实践视角展开：collector 视角问未来采集大规模数据集时应优先强调哪些多样性维度，retriever 视角问面对一个具体目标任务，该如何从已有大数据集中取数据。

在 collector 一侧，核心结论是相机位姿（camera poses）与空间布局（spatial arrangements）是两个关键维度。换句话说，与其一味扩充物体种类，不如先把「从哪些角度拍、物体怎么摆」覆盖开——这是解读，但方向上与作者强调的重点一致。材料同时指出，这两个维度在检索时的对齐上同样关键，也就是采集和取用两端指向了同一组变量。至于其他多样性维度如何排序，摘要与引言没有展开，只能确认这项研究把相机与空间布局挑出来，作为最值得关注的例子。

retriever 一侧的结论落到了实测数字上。作者把仿真研究得到的洞见搬到真实机器人环境，发现它们不仅成立，还能直接转化成训练策略的改进：在 DROID 这类现有大规模数据集上，其检索策略相比已有训练策略持续更优，最高提升 70%。这个数字出自真实世界的机器人学习设置，而不是仿真里的理想条件，因此分量不同。用一句话概括其含义：数据集的价值不只取决于它有多大，还取决于你从里面挑了哪些演示，以及挑的时候是否在相机位姿和空间布局上做了对齐。

把这些放在一起看，影响主要在资源分配上。数据采集长期依赖直觉，而直觉往往倾向于「多采、杂采」，这项工作提示采集预算可以更有针对性地压在相机位姿与空间布局的覆盖上。对已经握着 DROID、Open X Embodiment 这类数百万条轨迹数据集的团队来说，更现实的动作也许不是继续采集，而是重新设计检索与协同训练流程。更重要的是方法层面：它示范了用可控合成数据回答数据集组成问题这条路本身走得通，把原本只能靠经验拍板的事情变成可以实验的问题。

读者对象是清楚的：做机器人模仿学习、负责数据采集规划、或者要在 foundation dataset 上微调策略的研究者与工程师，都能拿到具体东西——两个值得优先覆盖的多样性维度、collector 与 retriever 这对分析框架，以及 70% 这个可以直接拿来做对比基线的量级。读的时候也要留意边界：公开的摘要与引言只给出方向性结论与少量数字，各多样性维度的完整排序、实验规模、消融细节都需回到正文；真实世界验证集中在桌面操作与 DROID 等现有数据集上，能否平移到别的机器人形态与任务领域，材料没有给出答案。项目页 robo-mimiclabs.github.io 上另有补充结果。

arXiv:2506.13536v1 [cs.RO] 16 Jun 2025 Published as a conference paper at ICLR 2025 WHAT MATTERS IN LEARNING FROM LARGE -SCALE DATASETS FOR ROBOT MANIPULATION Vaibhav Saxena1, Matthew Bronars1∗, Nadun Ranawaka Arachchige1∗, Kuancheng Wang1, Woo Chul Shin1, Soroush Nasiriany2, Ajay Mandlekar3†, Danfei Xu1,3† 1Georgia Institute of Technology 2The University of Texas at Austin 3NVIDIA ABSTRACT Imitation learning from large multi-task demonstration datasets has emerged as a promising path for building generally-capable robots. As a result, 1000s of hours have been spent on building such large-scale datasets around the globe. Despite the continuous growth of such efforts, we still lack a systematic understanding of what data should be collected to improve the utility of a robotics dataset and facilitate downstream policy learning. In this work, we conduct a large-scaledataset