Leap-VLA:低频 VLM 骨干驱动高频机器人控制
VLM 约1Hz 提供缓存语义,动作专家高频运行;2 秒语义刷新下 LIBERO-Spatial 成功率从 61.4% 提升到 95.5%。
- 发布时间
- 2026-10-31
内容介绍
Leap-VLA 要回答的是一个很具体的错配:视觉语言模型(VLM)参数量达到数十亿,而 VLA 模型过去习惯在每个控制步都让它把整幅观测重新编码一遍;但场景语义大约以 1 Hz 的节奏变化,反应式控制却需要 20–50 Hz 的输出。两者相差一两个数量级,把最昂贵的语义计算绑定在最频繁的控制节奏上,等于让最重的模块做最多的重复劳动。这份资料值得现在看,是因为它没有停在「降频」这种粗糙折中上,而是把低频语义与高频动作拆成两条流水线,并正面处理由此产生的缓存陈旧问题。换句话说,它讨论的是如何在不牺牲反应速度的前提下,让大模型只在真正需要时出场。
资料覆盖的是一套完整的系统设计与基准评测,而不是一张架构示意图。方法上,VLM 以低频运行,充当语义锚点并把上下文缓存下来;真正输出动作的是高频 flow-matching 动作专家,它同时接收来自紧凑视觉编码器的新鲜画面,以补上缓存之间缺失的即时信息。训练阶段还显式地让模型适应缓存的「陈旧度」,而不是假设缓存总是最新的。围绕这条主线,资料另外给出两个工程组件:零额外延迟的块边界校正(soft-nudge),以及在指令与场景不符时冻结执行的思维链判定门。评测落在 LIBERO 的四个套件上,用成功率说话。
最能说明问题的是 LIBERO-Spatial 上的对比。当语义刷新被拉长到 2 秒一次时,成功率从 61.4% 提升到 95.5%;刷新间隔缩到 1 秒,数字是 95.9%。这两个数放在一起看很有意思:2 秒与 1 秒之间只差 0.4 个百分点,说明性能并不随刷新频率线性变化。这意味着关键不在于「刷新得多快」,而在于缓存变旧时动作专家还能不能稳住;也可以理解为,61.4% 那个起点正是没有处理好陈旧度的代价。把语义锚点降频本身不难,难的是降频之后不掉点,这组数字是该方法成立的主要证据。
四个 LIBERO 套件的平均值给出了另一个视角:1 秒刷新 95.2%,2 秒刷新 94.5%,而频率匹配的基线是 96.3%。换句话说,与「每个控制步都重编码」的基线相比,低频方案仍有约一个到两个百分点的差距,并没有全面反超,但它把语义计算从控制回路里摘了出来。块边界校正 soft-nudge 的成绩是 97.1%,且实现逐步重规划而没有精度损失,额外延迟为零——这条更像是对「分块执行会牺牲平滑性」这一常见顾虑的直接回应。判定门则负责另一类风险:当指令与场景不符时冻结执行,同时不影响可行任务的成功率。
把这些放在一起,实践上的含义大致有三层。其一,VLA 的算力预算可以按信息变化的速度来分配,语义模块低频、动作模块高频,这比整体降频或整体蒸馏更贴近问题本身。其二,缓存不是免费的,必须把「陈旧」当作训练分布的一部分,否则 61.4% 那样的塌陷会反复出现。其三,安全兜底可以做成一个独立的判定环节,在不拖慢正常执行的前提下拦住不该执行的动作。需要说明的是,以上是对材料结论的延伸解读,资料本身给出的是成功率,而不是端到端延迟或功耗的绝对值。
这份资料适合正在做 VLA 部署、或者被「大模型进控制回路」的算力问题卡住的研究与工程读者;读完能拿走的是一个清晰的分工范式、一组可对照的基准数字,以及「缓存陈旧度需要显式训练」这条容易被忽略的经验。边界也要讲清楚:评测集中在 LIBERO 的四个套件上,属于仿真基准,材料没有给出真实机器人平台上的结果,也没有跨本体迁移的证据;soft-nudge 与判定门各自只有一个总体数字,缺少分任务拆解。因此它更像是一个方向的强证据,而不是可以直接照搬的部署配方。
全文在原站
这份资料的出版方不允许嵌入阅读。本站保留中文标题、导读与要点,方便你先判断是否值得读;下面的按钮会在新窗口打开原文。