面向可扩展人形机器人学习的快速动作重定向流程
OriginalFast Motion Retargeting Pipeline for Scalable Humanoid Robot Learning
Existing kinodynamic trajectory optimization pipelines are computationally expensive and often require manual adjustments per motion.
- 发布时间
- 2026-10
内容介绍
人形机器人学习眼下很依赖大规模人体动作捕捉数据:AMASS、LAFAN1、OMOMO、BONES-SEED 这几个数据集加起来有数十万条人体动作序列。但人体和机器人在形态、关节结构、硬件限制上对不上,动作必须先经过重定向才能拿来训练。问题在于,现有的 kinodynamic 轨迹优化流程既算得贵,又常常需要针对每一个动作手工调整参数,规模一上来就顶不住。FRDV(Fast Retargeting with Dynamics Validation)要回答的就是这件事:能不能把重定向做到又快又可扩展,同时不让质量掉下去。
这套框架分成两段。第一段是快速的受约束运动学重定向,做法是把自定义的 Sequential Quadratic Programming 求解器、Real-Time Iteration 和并行的 chunk-based 处理组合在一起;第二段是可选的动力学验证,用 contact-implicit iLQR 在 MuJoCo 的完整刚体动力学和執行器限制下跟踪重定向得到的参考轨迹。评估不只看运动学相似度,作者用 LAFAN1 参考训练 motion tracking 强化学习策略,横向比较 FRDV、GMR、ProtoMotions 生成的数据在跟踪保真度和成功率上的差别,最后在 Unitree G1 上做了 sim-to-real 演示。
速度是这份资料最醒目的部分。在 LAFAN1 上做 20 worker 的 chunk 并行执行,运动学阶段平均达到 9,156 帧每秒;单 worker 执行是 677 帧每秒。表 I 给出的对照是 SPIDER 48、GMR 48、PHC 36、OmniRetarget 2、ProtoMotions 67 帧每秒,FRDV 跑在 CPU 上,ProtoMotions 和 SPIDER 用的是 GPU。倍数的说法在材料内部并不完全一致:摘要写的是“约为 GMR 和 ProtoMotions 的 136 倍”,正文则说吞吐量约为 ProtoMotions 的 136 倍、GMR 的 191 倍。引用这组数字时,宜回到表格和正文口径核对,别直接照抄摘要。
规模上的对照更能说明现有流程的瓶颈。按作者的运行时评估,ProtoMotions 处理 AMASS 需要 40 小时以上,而 AMASS 大约包含 11,000 条动作序列、40 小时以上、来自 300 多名受试者的运动数据。材料还提到 SONIC 这个系统为重定向超过 1 亿帧、约 700 小时的人体运动来构建机器人训练数据。质量这一侧的麻烦同样具体:人体与机器人在身体比例、关节限位和运动学结构上的差异会带来脚滑、地面穿透和自碰撞,这些 artifact 会削弱下游强化学习跟踪策略的鲁棒性,遇上困难动作甚至可能让策略学不出来。
FRDV 的应对是把机器人特定约束直接写进优化,压住地面穿透和自碰撞;对需要进一步核验的动作,再交给 CI-iLQR 判断哪些在动力学上根本不可行,并修正 foot floating、foot skating 这类接触相关的问题。这意味着作者把重定向当成一个两段式的工程问题:先用足够快的运动学优化铺量,再用动力学验证兜住少数难例。换句话说,速度提升只有配上下游策略的跟踪成功率才有意义,这也是他们不满足于运动学相似度、而要训练 RL 策略来比较的原因。
做 humanoid 强化学习、动作重定向或数据管线的人可以从中拿到几样东西:一套可照搬的两段式架构,一组 SQP 加 RTI 加 chunk 并行的工程组合,一种以跟踪成功率为评价口径的验证思路,以及 G1 上的零样本硬件演示作为可行性佐证。边界也要说清楚:表 I 的计时只覆盖运动学重定向,不含 CI-iLQR 的动力学验证与精化,也排除了 batched execution;9,156 帧每秒是 LAFAN1 上的平均值,不等于任意动作都能跑到这个数;动力学验证是可选的补充阶段。材料给出了与 GMR、ProtoMotions 比较的实验设计,但没有列出跟踪保真度和成功率的具体数值,判断优劣还得等看到正文表格。
原文摘录
自动提取自 PDFFast Motion Retargeting Pipeline for Scalable Humanoid Robot Learning Daniel Marew ∗, Sangjun Park ∗, Nisal Perera, and Donghyun Kim 1 Abstract— While large-scale human motion capture datasets provide a rich source of demonstrations for humanoid robot learning, retargeting the diverse motions to different humanoid robots remains a nontrivial challenge. Existing kinodynamic trajectory optimization pipelines are computationally expen- sive and often require manual adjustments per motion. We present FRDV (Fast Retargeting with Dynamics Validation), a scalable framework consisting of rapid constrained kinematic retargeting and an additional dynamics validation pipeline. Its kinematic stage integrates a custom Sequential Quadratic Programming solver, Real-Time Iteration, and parallel chunk- based processing, achieving up to 9,156 frames per second —