Physical Intelligence:动作分块流策略的实时执行(RTC)
针对VLA高延迟导致动作块边界出现停顿或抖动的问题,提出推理时算法“实时分块(RTC)”。
- 发布时间
- 2025-06
内容介绍
机器人在真实环境里跑 VLA(视觉—语言—动作模型)时,推理不是免费的:模型要吃掉图像和指令,才能吐出下一步动作。常见的工程做法是「动作分块」,一次生成一段连续动作再逐拍执行,用执行时间来摊薄推理开销。问题在于,当前一块快执行完、下一块还没算出来时,中间那段空档会直接暴露成停顿或抖动,动作越连续的任务越明显。这份由 Physical Intelligence 与 UC Berkeley 给出的资料,正面处理的就是这个边界上的时序问题,提出一个叫「实时分块(RTC)」的推理时算法。它值得现在看,是因为它不改模型、不重训,只在推理环节动刀——这类方案对已经有可用策略、却被延迟卡住的团队,落地成本最低。
从定位上说,RTC 是一个推理时算法,而不是新的策略架构或训练目标。资料给出的适用范围很明确:任何基于扩散或流匹配的 VLA 都可以套用,且不需要重新训练。换句话说,改动发生在采样与执行的调度层面,模型权重原封不动。这也决定了它的分析路径不是「收集更多数据、训更强的模型」,而是重新安排「生成」与「执行」这两件事的时间关系:在执行当前动作块的同时,并行生成下一块。这样一来,原本裸露在块边界上的那段等待时间,被塞进了正在执行的动作时长里。
关键的一点是,这种并行不是简单地把下一块提前算出来就完事。资料里给出的机制是「冻结」加「补全」:把那些在生成完成前必然会被执行到的动作固定下来,剩下的部分再由新生成的块补齐。这意味着块与块之间的衔接被显式约束住了,而不是让两次独立采样各自为政。做解读的话,这里的「冻结」本质上是在给后一次生成加一个已知的前缀条件,使新块必须与已经在执行的动作对齐;边界处的跳变,正是靠这个约束压下去的。这也解释了为什么它必须落在推理时——约束的对象是「此刻正在发生什么」,而不是训练分布。
第二层要点是通用性。资料强调 RTC 适用于任何扩散或流匹配 VLA,无需重新训练,这句话的分量在于它把方法从某个具体模型上摘了出来。扩散与流匹配是当前 VLA 里主流的动作生成方式,覆盖面本身就广;而「无需重新训练」意味着不需要为每个新任务、每台新机器重跑一遍训练流程。换句话说,它是一个可以叠加在现有推理管线上的补丁,而不是替换掉原有管线的新系统。对已经在跑分块策略的团队,这决定了评估成本:试一次的门槛,远低于换一个模型。
这些结论对实践的影响,我理解主要在两头。一头是部署侧:如果延迟造成的边界抖动是主要瓶颈,那么优先做的可能不是加算力或换小模型,而是改调度,让生成与执行重叠起来。另一头是评测侧:只报任务成功率,看不出边界上的停顿和抖动,而 RTC 针对的恰恰是这类时序上的劣化;要判断它有没有用,评测里得能观察到块边界的连续性。这也提醒一句,动作分块带来的延迟问题不是实现瑕疵,而是这种生成方式的结构性后果,任何分块方案都会遇到。
这份材料的边界也需要说清楚。从给出的内容看,它止步于问题定义、算法骨架和适用条件三项,没有给出量化结果:没有具体任务、没有平台,也没有延迟降低了多少、成功率变化多少这类数字。所以读完之后,能拿走的是三样东西——块边界问题的成因、RTC 的「并行生成+冻结+补全」这套机制、以及「任何扩散或流匹配 VLA 免重训可用」这个适用条件;拿不到的是增益幅度的判断。最适合读的是正在部署分块式 VLA、被推理延迟和动作抖动困扰的工程同学,以及想理解推理时算法这类思路的研究者。如果关心的是效果有多大,还需要回到原始资料里的实验部分去核对,这份摘要层面的介绍不足以支撑那个结论。