搜索结果

策略 Transformer 在 V-JEPA 2.1 特征空间中从头训练；推理时只生成动作，未来特征预测仅用于训练；无具身预训练设定下，La-JEPA L 在校正指令的 LIBERO-Plus 上成功率为 88.0%（发布指令为 84.1%），LIBERO 为 98.1%；RoboTwin 2.0（仅用干净演示训练）上，La-JEPA B 干净场景 86.2%、随机场景 35.4%、均值 60.8%（三种子平均值）；作者称在相当或更好的性能下，优化后的推理可比 Fast-WAM 快最多约 5 倍；四个真实 Franka 桌面任务平均成功 17.50/20，与具身预训练的 π0.5（17.25/20）相当；代码位于 github.com/mt-clemente/lajepa

机器人策略能否在没见过的环境里完成没训练过的行为，是机器人学习里最难绕开的问题之一。NVIDIA的DreamGen资料给出的切入点是视频世界模型：先用图像到视频生成模型合成机器人执行任务的视频，再把视频转成可训练的“神经轨迹”。

通用机器人策略的视觉编码器该怎么选，这个问题正在被重新提问。过去的主流做法是拿单张图像做重建，或者拿两张图像做对比学习，encoder 学到的东西偏向静态：画面里有什么物体、纹理长什么样、场景布局如何。

通用价值模型要在机器人策略学习里承担「打分」的角色：从大规模、混合质量的数据中给出任务进度信号，既服务于在线强化学习，也用作离线数据过滤器。难点在于，准确的价值估计在数学上要求模型同时具备两种能力，用历史上下文锚定当前信念，并对未来结果做前瞻性规划。

机器人策略想要复用技能、在组合新任务时保持泛化，前提是轨迹里有细粒度的动作标注：不只是「把杯子放进抽屉」这样的任务级指令，而是拆成拿起杯子、打开抽屉、把杯子放进去，并给每个片段配上技能标签、动作描述和时间边界。

Octo：开源通用机器人策略，由UC Berkeley 等发布（2024-05）。arXiv公开论文，可免费下载全文PDF，属于具身智能/机器人基础模型方向，适合做论文解读/产品发布解读类内容；具体结论以原文为准。

提出开放协议衡量同一机器人策略换到不同本体后在哪里失效；初步结果中，同协议微调的开源基线 Octo-Base 误差低于其自家 XE-0.1 模型。