人形机器人富有表现力的全身控制
OriginalExpressive Whole-Body Control for Humanoid Robots
We propose to learn a whole-body control policy on a human-sized robot to mimic human motions as realistic as possible.
- 发布时间
- 2024-07
内容介绍
humanoid robots 的 whole-body control 往往被任务目标塑造成单一、可预测的动作模式,材料开篇则直接问:能否让机器人在真实世界生成 rich、diverse、expressive 的动作。ExBody 提出在一个 human-sized robot 上学习 whole-body control policy,目标是尽可能逼真地模仿人类动作。值得看的地方在于,它没有停留在仿真角色动画,而是把大规模 human motion capture data 与 Reinforcement Learning 结合,并做 Sim2Real 迁移到真实 humanoid。解读来说,这相当于把“表现力”从图形学里的动画问题,拉到了机器人可执行、可部署的控制问题,材料中跳舞、握手、在不同地形行走的展示让这个目标变得具体。
这份资料覆盖了从数据到真实部署的完整链路。它使用 CMU MoCap dataset 中约 780 条参考动作,经 motion retargeting 得到与机器人 kinematic structure 兼容的 motion clips,再从中提取 expression goal 和 root movement goal,作为 goal-conditioned RL 的训练目标。训练在高度随机化的挑战地形 simulation 中进行,并通过 Sim2Real transfer 部署到 Unitree H1 的模拟与真实实验。root movement goal 也可以由 joystick commands 直观给出,材料明确说这便于真实世界部署。
材料先解释了为什么不能直接照搬动捕数据:graphics 社区的 physics-based character animation 可以使用 69DoF,而 Unitree H1 真实机器人只有 19DoF;动画中的 actuator gains 可达到 60kg/m 量级,比当前硬件可行值高一个数量级。这两个差距使得直接把动捕数据用于真实 humanoid 的 imitation learning 不可行。ExBody 的关键选择是不要逐关节完全复制参考动作:它鼓励上半身模仿 reference motion,同时放松两条腿的模仿约束,只要求腿部稳健跟随给定速度。解读来说,这是把“表达性”和“移动性”拆成两个目标,避免不匹配的腿部参考动作拖累整体控制。
真实世界的结果展示了这种解耦的效果:机器人
原文摘录
自动提取自 PDFExpressive Whole-Body Control for Humanoid Robots Xuxin Cheng ∗, Yandong Ji ∗, Junming Chen, Ruihan Yang, Ge Yang, Xiaolong Wang UC San Diego https://expressive-humanoid.github.io Fig. 1: Our Robot demonstrates diverse and expressive whole-body movements in different scenarios. Top Row: The robot is dancing, hugging and slapping hands with a human. Middle Row: The robot is able to walk on different terrains including gravel and wood chip paths, inclined concrete paths, grass, and curbsides with various expressions like zombie walk, exaggerated stride or waving. Bottom Left: The robot is able to use a waving gesture to open a wave-sensing door. Bottom Right: The robot is shaking hands and provoking. Abstract—Can we enable humanoid robots to generate rich, diverse, and expressive motions in the real world? We propose to learn a whole-body control policy on a human-sized robot