面向机器人基础模型的策略对比解码

机器人基础模型（通用机器人策略）被期待让机器人按语言指令完成多样任务，但这份资料关注一个更基础的问题：现有策略是否真的在看任务相关物体，而不是记住预训练轨迹里的背景和纹理。材料给出的经验观察是，策略容易学到虚假相关，把任务无关的视觉特征与动作绑定，从而在训练数据之外泛化变差。作者提出 Policy Contrastive Decoding（PCD），试图在推理阶段把策略注意力拉回物体相关线索，并回答能否用免训练、即插即用的方式纠正动作预测。随着机器人策略越来越多地被直接部署，这种不重训模型的推理时干预值得关注。

资料覆盖三类开源机器人策略：自回归的 OpenVLA，以及扩散式的 Octo 和 π0；评估横跨仿真环境和真实世界环境，共15个任务。方法层面，PCD 在推理时对比两组动作概率分布：一组来自原始视觉观察，另一组来自目标物体被遮挡后的观察，用两者的差异把策略从背景、纹理等虚假特征推向物体相关线索。为了让遮挡可操作，Track2Mask 先在初始观察中用人工提示（如 Point、Box）或现成检测模型（如 Grounding DINO）标出目标物体，再用 SAM2 在后续观察中跟踪该物体。扩散策略不能直接给出动作概率分布，资料因此引入 KDE-PM，用核密度估计为扩散策略构造分布，使 PCD 同时兼容自回归和扩散两类策略。

材料先量化了虚假相关的代价：在视觉观察中轻微调整平移光照区域，策略的动作预测性能下降36%；改变抽屉手柄位置，性能下降32%。这两个扰动都不改变任务本身，却让基线策略明显失准，说明它更多依赖背景、纹理等任务无关特征，而不是物体特征。资料用注意力图展示这种倾向，并引用其他领域的经验指出，依赖虚假相关的模型在训练与测试分布发生偏移时往往性能显著下降。换句话说，问题不在于策略完全不会操作，而在于它把预测动作的依据放错了位置。

PCD 的效果在仿真和真实环境中都有数字支撑。仿真基准上，PCD 让 Octo 提升29.7%，让 OpenVLA 提升50.6%，让 π0 提升8.9%。真实世界操作任务中，PCD 相对最先进的 π0 策略提升108%。这些实验覆盖不同策略类型和15个任务，说明 PCD 不是只对单一模型结构有效的技巧；但不同策略的提升幅度差异很大，也意味着收益与基线策略和任务设置有关，不能简单外推为一个固定增益。

从实践角度看，PCD 的核心价值在于把去虚假相关从训练阶段移到推理阶段：不需要微调，也不需要访问模型权重，就可以作为插件加在不同机器人策略上。Track2Mask 把目标物体标注和跟踪流程化，减少了逐帧人工遮挡的成本；KDE-PM 则补上了扩散策略缺少显式动作概率分布的这一环。这意味着，当已有策略在背景、光照或物体位置变化下表现不稳时，PCD 提供了一种较轻量的纠正手段，而不是必须重新收集数据、重训模型。当然，它仍然需要初始目标标注或现成检测模型，并依赖跟踪来维持遮挡。

这份资料适合关注机器人基础模型、模仿学习策略鲁棒性和推理时干预的研究者与工程师阅读。读完可以拿走三样东西：虚假相关在机器人策略中的具体表现和量化例子；用原始输入与物体遮挡输入做对比解码的思路；以及 Track2Mask、KDE-PM 这两个让方法兼容真实流程和扩散策略的工程组件。材料的边界也需要说明：它没有展开15个任务的完整清单和失败案例分析，方法依赖初始目标标注或检测模型以及 SAM2 跟踪，且作为免训练推理方法并不改变模型权重，效果上限仍受原策略约束。若关心的是训练阶段的数据去偏或模型结构改造，这份资料的重点不在这里。

Published as a conference paper at ICLR 2026 POLICYCONTRASTIVEDECODING FOR ROBOTICFOUNDATIONMODELS Shihan Wu1∗ Xu Luo1∗ Ji Zhang2† Junlin Xie1 Jingkuan Song3 Heng Tao Shen3 Lianli Gao1 1University of Electronic Science and Technology of China 2Southwest Jiaotong University 3Tongji University [email protected],[email protected] https://koorye.github.io/PCD ABSTRACT Robotic foundation models, or generalist robot policies, hold immense potential to enable flexible, general-purpose and dexterous robotic systems. Despite their advancements, our empirical experiments reveal that existing robot policies are prone to learningspurious correlationsfrom pre-training trajectories, adversely affecting their generalization capabilities beyond the training data. To tackle this, we propose a novelPolicy Contrastive Decoding (PCD)approach, which redirects