机器人预训练机器人以操作为中心的大规模数据表征

机器人视觉表征该用什么数据预训练、究竟要学到什么，是这份资料试图回答的核心问题。此前的主流做法是拿互联网上的人类操作视频做预训练，理由是人类的操作知识可以迁移到机器人上；但人机形态差异会带来分布偏移，人类视频也缺少完成任务所必需的动力学信息。作者把问题拆成两步：人类数据里究竟是哪种特征在提升操作性能，以及是否存在比人类视频更合适的数据来源。在大规模机器人数据集刚刚出现的时点，这两个问题的答案会直接影响预训练数据与技术路线的选择，因此值得一读。

资料的做法是先评测、再设计方法。作者在多个下游仿真域上系统比较已有预训练表征的策略学习表现，并提出 manipulation centricity 这一指标和配套评测协议，核心是度量表征的关注区域与真实操作区域（机器人末端执行器、任务相关物体）之间的相似度。基于评测得到的结论，他们提出 MCR：在 DROID 机器人数据集上预训练视觉编码器，除图像外还使用机器人本体感受状态和动作，训练目标由三部分组成——把视觉观察与状态-动作动态对齐的新对比损失、动作预测损失、时间对比损失。实验覆盖 4 个仿真域的 20 个操作任务，以及 3 个真实机器人操作任务，预训练数据为 36K 条机器人轨迹。

第一个发现是指标本身有效。manipulation centricity 与下游成功率呈现强相关，汇总口径下相关系数 R=0.93；分域看，Robomimic 为 0.83、MetaWorld 为 0.70、RoboCasa 为 0.64、DexArt 为 0.44。这意味着在跑完整策略训练之前，可以先用表征对操作区域的关注程度粗略预判它的下游表现。作者据此给出的判断是：manipulation centricity 是提升机器人操作性能的关键因素。

第二个发现关乎数据来源。作者用代表性机器人数据集 DROID 重训先验方法，结论是机器人数据集对表征的收益大于人类数据集，而 MCR 进一步利用了机器人数据中的动力学标签。结果是 MCR 在 4 个仿真域、20 个操作任务上比最强基线高 14.8%，在 3 个真实世界操作任务上成功率提升 76.9%。需要说明的是，这两个数字都是相对提升，材料未给出各任务的绝对成功率，因此不能直接换算成实际部署的成功率水平。

把这些结论放到实践里看，预训练数据的“域内程度”可能比单纯追求数据规模更值得优先考虑。动作与本体感受这类动力学信号是纯视频数据无法提供的，把它们作为对齐目标，能提升表征与操作任务的相关性。对做表征选型的团队，manipulation centricity 提供了一条低成本筛选路径；对搭预训练流程的团队，DROID 这类带动作标注的机器人数据集是可替换人类视频的选项。需要标明的是，这属于基于材料得出的解读，结论建立在作者所列基线与任务集之上，是实证结果而非普适保证。

这份资料适合关注机器人视觉表征预训练、模仿学习与视觉运动控制的研究者和工程团队阅读。读完可以拿走三样东西：一套可操作的评测思路，即用操作中心性筛选表征；一个明确的预训练配方，即视觉加本体感受加动作、配合三种损失；以及“用机器人数据替代人类视频”这一有数字支撑的实证结论。边界也需要说清：它目前是 preprint，评测集中在 4 个仿真域和 3 个真实任务，对比基线为 MVP、VC-1、R3M、R3M*、HRP 等所列方法，预训练基于 DROID 一个数据集，跨数据集与跨本体形态的泛化情况材料没有交代。

Preprint. ROBOTS PRE-TRAIN ROBOTS : M ANIPULATION - CENTRIC ROBOTIC REPRESENTATION FROM LARGE - SCALE ROBOT DATASETS Guangqi Jiang1⋆ Yifei Sun2⋆ Tao Huang3⋆ Huanyu Li3 Yongyuan Liang4† Huazhe Xu5† 1 University of California, San Diego 2 Tongji University 3 Shanghai Jiao Tong University 4 University of Maryland, College Park 5 Tsinghua University Dynamics Alignment Actor Loss Time Contrastive Loss Contrastive Dynamics Chunk Robot 7-dim Actions Predict … Positive Negative 36K Robotic Trajectories tInitial Frames state action Closed-loop Control Manipulation Centricity Indicate which visual part is the most related to robot tasks. Manipulation Task Performance Manipulation Centricity Features A Metric for Robotic Representations MCR Feature Proprio. Policy Action Image inputs Success Rate on 4 domains Real-Robot Simulation MVP VC1 MCRR3M R3M* HRP Pretraining Performance Figure 1: Overview.