RynnVLA-Latent：用3D潜在动作扩展机器人操作基础模型

机器人操作模型的瓶颈，长期不在策略网络本身，而在能喂给它的数据。带动作标注的示范数据昂贵且稀缺，而不同机器人的控制空间又彼此不兼容——人类视频没有关节指令，仿真数据有一整套虚拟接口，真实机器人各有各的关节定义，很难混在一起训练。RynnVLA-Latent 这份资料要回答的正是这个接口问题：能不能不依赖原生机器人控制信号，直接从视觉变化里学出一种通用的、可迁移的动作表示，再把人类视频、机器人视频和仿真视频统一变成预训练监督。它值得现在看，是因为作者没有停在表示学习的设想上，而是把这条路线做成了一个 4B 规模的策略，并在仿真基准和真实平台上同时给出了结果。

覆盖范围上，这份工作跨越了数据、表示和策略三层。数据侧汇总了 3.01 万小时的人类、机器人与仿真视频；表示侧提出 RynnLAM，从视觉变化中学习连续、3D 对齐的潜在动作，关键在于不要求原生机器人控制信号；策略侧把学到的潜在动作当作监督信号，训练出 4B 参数的操作策略。评测侧则铺到 LIBERO、LIBERO-Plus、VLABench、RoboTwin 2.0 四个仿真基准，以及灵巧手和移动夹爪两类平台上的六项真实任务。换句话说，它试图用一套潜在动作把异构视频源串起来，再在多种本体上验证这套表示是否真的通用。

第一个值得注意的数字在数据规模上：作者在 3.01 万小时视频中提取了 7.4552 亿个潜在动作描述。这个量级说明潜在动作不是少量人工标注的替代品，而是可以随视频量线性扩张的监督来源——只要有一段视频记录了场景的视觉变化，就能从中抽出一条动作描述，不需要有人拿着遥控器重做一遍。这也是“扩展”二字落在实处的部分。

第二个数字是策略本身的表现。4B 策略在 LIBERO 上成功率达到 98.8%，在 LIBERO-Plus 上是 84.7%，材料特别说明这一成绩没有做基准专门适配。这意味着模型不是针对某个榜单调过参的，泛化能力来自预训练阶段学到的表示，而不是评测阶段的补丁。在更难的基准上，VLABench 五个赛道平均 51.9%，RoboTwin 2.0 双臂基准平均 88.6%。VLABench 的绝对值明显低于其他几项，说明涉及更复杂任务理解与长程操作时，这条路线仍有明显空间；而双臂基准的高分则提示，当任务被约束在较明确的操作语义内，潜在动作的迁移是有效的。真实平台方面，材料给出的结论是六项操作任务中成功率为对比方法最高，未提供具体数值。

把这些放在一起看，这份资料的核心判断是：动作监督可以从视觉变化中“读”出来，而不必从机器人控制信号中“采”出来。这意味着数据稀缺的缓解方式不是更努力地采集示范，而是换一个监督来源；本体不兼容的问题也不必靠统一的控制接口解决，而是在潜在动作这一层对齐。对实践的影响是双向的：一方面，预训练数据的边界被拓宽到人类视频和仿真视频，团队可以用远比自采示范更大的语料起步；另一方面，策略输出仍然要落到具体本体上，潜在动作只是中间表示，最后一公里的适配工作并没有消失。解读来看，VLABench 的平均成功率也提醒读者，这条路线在复杂任务上还不是即插即用的方案。

这份资料适合已经在做机器人操作策略、或正在为示范数据发愁的研究与工程读者，也适合关心视觉预训练如何迁移到具身控制的人。读完能拿走的是一个清晰的技术路径：视觉变化 → 潜在动作 → 大规模视频监督 → 跨本体策略，以及一组可对照的基准数字。边界同样需要说清楚：材料只给出成功率层面的结论，没有提供推理成本、真实任务的具体任务定义与对比方法清单；VLABench 51.9% 的成绩说明复杂场景仍有较大提升余地；七亿多条潜在动作究竟带来多少有效监督，也需要读者结合自己的任务分布去判断。把它当作一条值得跟进的路线来读，比当作一份可以直接复现的配方更合适。