science 论文机器人与具身智能其他2026-11-01

ODE Policy:学习动作的动力学而非动作本身

用神经 ODE 学习动作向量场,执行轨迹天然连续;模仿学习中一轮训练后成功率为 flow matching 的 5.9 倍、生成速度快 10.8 倍,14 个真机任务成功率最高。

发布时间
2026-11-01
link 原始页面

notes 内容介绍

机器人策略最终都要回答一个问题:下一个动作从哪里来。ODE Policy 的着眼点不在某个任务的策略结构,而在动作本身怎么被产生——它主张不去学动作,去学动作的动力学,也就是动作随时间的向量场。这样一来,部署时每个动作由上一个动作积分得到,轨迹在构造上就是连续的。这个角度值得现在看,是因为作者把它同时放进了视觉运动策略、VLA 与世界动作模型的动作头、以及基于模型的强化学习执行器三种位置,说明要论证的不是单任务技巧,而是动作表示层面的通用替换。材料给出的直接对照是 flow matching,分歧正好落在“学动作还是学动力学”这个取舍上。

方法上用神经常微分方程学习动作的向量场,部署阶段不再一次性吐出整段动作,而是从上一个动作出发做积分,逐步得到当前动作。为了不让连续化抹掉多模态行为,作者另加了一个轻量的多样性头。验证覆盖面铺得很开:单臂、双臂、灵巧手、行走和移动操作任务都在其中,共与 14 个基线比较。换句话说,这不是单点任务的消融,而是把同一个动作头塞进几种不同的系统形态里试。

模仿学习的结果最直观:只训练 1 个 epoch 之后,相比 flow matching,成功率是 5.9 倍,泛化是 5.4 倍,模态平衡是 3.9 倍。这三项数字指向不同的问题——能不能做成、换个条件还能不能成、多种行为模式是否被均匀覆盖,作者用同一组对比把三者一起报了。另一个常被忽略的指标是生成速度,材料说动作生成快 10.8 倍。这意味着在需要高频出动作的闭环里,积分式的动作生成并没有因为“每一步都要积分”而变慢,反而更快;这一点与直觉相反,值得留意。

平滑性上,材料称动作多数比人类示范更平滑,这一条和“以人类示范为自然参照”的直觉相反,值得单独核看。真实任务层面,14 项真实任务(单臂、双臂、灵巧手、人形)上成功率最高——这里要注意,材料同时提到 14 个基线,两个 14 指的不是同一件事,一个是比较对象的数量,一个是任务的数量。强化学习方面,ODE Policy 作为执行器可以加速 SuperMimic 的人形动作跟踪,并让动作更平滑。

把这些放在一起看,意味着动作头的选择不只是工程口味问题。轨迹天然连续、生成更快、模态覆盖更平衡,这几点如果同时成立,会影响模仿学习的训练预算分配——1 个 epoch 就拉开明显差距,也会影响 VLA 和世界动作模型里的动作头能不能直接替换。对实践者来说,比较实际的启示是把“学动作”和“学动作的动力学”当成两种可选的动作表示去做对照实验,而不是默认前者。当然,这是解读:材料报的是相对倍数,没有给绝对成功率,也没有说明这些倍数在不同任务上的分布。

适合正在做机器人策略、动作头设计,或把生成模型接进控制环路的人读,读完能拿到一个明确的替代方案和一组可对照的数字,尤其是 1 个 epoch、5.9 倍、10.8 倍这几个可以直接拿去设计实验的锚点。边界也要说清楚:材料停在要点层面,没有给实现细节、基线配置和失败案例;多项结论是相对 flow matching 的倍数,缺少绝对值参照;14 项真实任务只说了成功率最高,没有逐项数字。换句话说,它足以让人判断这条路线值不值得跟进,但不足以支撑直接复现。

Full text at publisher

全文在原站

这份资料的出版方不允许嵌入阅读。本站保留中文标题、导读与要点,方便你先判断是否值得读;下面的按钮会在新窗口打开原文。