Physical Intelligence：RL Token——用VLA引导在线强化学习

预训练视觉-语言-动作模型（VLA）已经能完成不少操作任务，但要把拧螺丝、扎线带、插网线这类高精度动作做到稳定可靠，仅靠示教数据或离线训练往往不够，还需要机器人在真实环境里通过试错继续改进。在线强化学习理论上能补上这一环，问题在于样本成本：直接在原始观测和动作空间上训练，通常需要大量机器人时间。这份资料给出的切入点是，不把整个VLA当作RL的训练对象，而是在VLA内部特征上引入一个“RL token”，把表示压缩后再交给轻量策略网络学习。它值得现在看，是因为这提供了一种可复用的接口思路：预训练模型负责特征，在线RL负责在少量经验上做任务适配。

从材料看，方法链路分为两层。第一层是在VLA中引入RL token，通过编码器和解码器从VLA内部特征中提取紧凑表示；第二层是在这个表示上训练轻量级的actor-critic网络，进行样本高效的在线强化学习。换句话说，RL不是从零开始学习高维感知到动作的映射，而是借VLA已经形成的内部特征作为起点，再让一个小型策略网络在低维表示上做在线更新。材料给出的经验来源是机器人自身经验，量级为几小时甚至几分钟；它没有展开编码器、解码器的具体结构、训练目标或数据规模，因此这份资料的重点在方法框架，而非完整的实验复现细节。

材料列出的关键结论可以归为三条。其一，RL token能够从VLA内部特征中提取紧凑表示，这是后续轻量策略学习成立的前提。其二，基于该表示训练的actor-critic网络是轻量级的，在线强化学习表现出样本高效的特点。其三，在拧螺丝、扎线带、插网线这三类高精度任务上，只需几小时甚至几分钟的机器人经验就能完成微调。需要说明的是，材料没有给出成功率、对比基线或每次实验的具体样本数，所以“几小时甚至几分钟”应理解为作者报告的经验量级，而不是可以直接横向比较的基准数字。

对这些结论再做一层解读：紧凑表示的作用是降低actor-critic的输入维度和学习难度，使在线更新不必反复穿透整个VLA；解码器的存在则意味着RL token需要保留对控制有用的信息，否则策略在表示空间里学到的内容可能与实际动作脱节。轻量actor-critic与VLA配合，是把大模型先验和小网络样本效率结合起来的常见做法，这里的新意在于用token作为显式接口，把“从哪里接RL”这件事固定下来。这意味着这套设计更像一个适配层：VLA不必为每个任务重训，任务差异由RL token之上的小网络吸收。

对做机器人操作落地的团队来说，这些结论的影响在于在线RL的启动成本可能明显下降。高精度装配类任务通常难以用纯模仿学习覆盖误差和扰动，如果能在现场用小时级甚至分钟级的试错把策略调整到位，部署和换产的循环会短很多。反过来，这也对工程条件提出要求：在线采集经验需要安全的重置机制、失败恢复和必要的人工监督，而材料没有讨论这些配套环节。换句话说，方法层面的样本效率提升，不等于整套在线学习流程可以无人值守地跑起来。

这份资料适合做VLA、机器人操作和强化学习落地的研究者与工程师阅读，尤其是关心如何把预训练模型接入在线学习回路的人。读完可以拿走一个明确的接口思路：用编码器-解码器从VLA内部特征中抽出RL token，再在其上训练轻量actor-critic，用少量机器人经验完成高精度任务的微调。边界也需要点明：材料只给出三类任务的定性描述和小时/分钟级的经验量级，没有成功率、基线对比、失败模式或跨任务迁移的定量证据，因此它更适合作为方法参考和后续实验的起点，而不是选型或采购依据。