BeyondMimic：从动作跟踪到引导扩散的通用人形控制

人形机器人在形态上与人接近，这一点被普遍视为它们有希望获得人类那样的敏捷与多技能的先天条件，而从人类演示中学习则提供了一条可扩展的获取路径。问题出在既有做法上：它们要么生成不自然的动作，要么必须针对每个动作单独调参，才能达到可以接受的自然度。更麻烦的是，这些方法通常是动作特定或目标特定的，缺乏把不同技能组合起来、去解决训练中没见过的任务的能力。BeyondMimic 要回应的正是这两个缺口——怎样用一套统一配置掌握大量高动态技能，以及怎样让这些技能可以被灵活指定、切换和组合。

这份工作由 UC Berkeley 与 Stanford University 的研究者合作完成，Qiayuan Liao、Takara E. Truong、Xiaoyu Huang 为共同第一作者，Koushil Sreenath 与 C. Karen Liu 为共同指导。方法上它走的是“动作跟踪 + 生成模型”的前后两段：前半段是一个紧凑的动作跟踪公式（motion-tracking formulation），属于从人类动作数据出发、用强化学习训练跟踪策略这一路线；后半段在此基础上训练一个统一的潜在扩散模型（latent diffusion model），把已掌握的技能变成可被目标条件约束的生成过程。扩散部分使用 classifier guidance，即一种在测试时朝新目标做优化的扩散专用技术，把模型推向训练时没有见过的任务。作者还强调，这些技能可以零样本（zero-shot）迁移到真实硬件。

在动作跟踪这一侧，材料给出的说法是：单一套配置与共享超参数就足以掌握一组差异很大的高动态行为，包括空中侧手翻（aerial cartwheels）、旋踢（spin-kicks）、翻踢（flip-kicks）和冲刺（sprinting），并声称取得了 state-of-the-art 的类人表现。这一点之所以关键，是因为它直接顶上了前面那个老问题——以往每加一个新行为都要重新设计奖励函数，规模化的代价高到难以承受。共享超参数意味着技能库扩张时，调参工作量不再线性增长，这是解读，材料本身只写了 “single setup and shared hyperparameters”。作者同时点出了手工奖励的副作用：持续踏步、屈膝、落地冲击大，根源在于“自然”和“像人”很难写成显式的优化项。

扩散模型这一侧解决的是通用性。作者称这个统一的潜在扩散模型支持多样化的目标指定、无缝的任务切换，以及对这些敏捷行为的动态组合。借助 classifier guidance，模型的能力被扩展到训练中从未遇到的下游任务，材料明确列出的有三类：动作修补（motion inpainting）、摇杆遥操作（joystick teleoperation）和避障（obstacle avoidance），并且这些技能零样本迁移到了真实硬件。换句话说，通用性不是靠给每个任务另训一个策略换来的，而是在测试时用引导信号把已有技能“推”向新目标。

这意味着问题的提法变了：从“模仿哪一段动作”转向“如何在技能空间里组合与施加约束”。对做全身控制的团队来说，最直接的影响在工程成本结构上——如果一套配置真能覆盖跑、跳、翻、踢这类跨度极大的行为，新增技能的边际成本就主要落在动作数据和引导目标上，而不是奖励工程上。另一层影响在部署侧：测试时优化意味着同一套策略可以通过不同的引导信号响应新指令，避障、遥操作这类任务不必各训一个模型。不过难点也随之转移，引导信号怎么设计、扩散采样的开销在实时控制回路里是否可接受，材料没有展开。

关注人形机器人全身控制、以及强化学习与生成模型交叉方向的研究者和工程师，会从这份材料里拿到一个清晰的问题分解：跟踪负责“学得像”，扩散加引导负责“用得活”。可以带走的判断是，动作跟踪与生成式技能组合并非两套彼此独立的技术栈，而是能叠在同一条流水线上的前后两段。需要提醒的是，手头的摘录在介绍 DeepMimic 式奖励时就中断了，实验设置、对比基线和量化指标都没有出现，因此“state-of-the-art”这类表述目前只能当作作者的主张而非可核对的结论，真实硬件上的表现细节同样没有给出。

BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided Diffusion Qiayuan Liao1∗†, Takara E. Truong2†, Xiaoyu Huang1†, Yuman Gao1, Guy Tevet2, Koushil Sreenath1‡, C. Karen Liu2‡ 1University of California, Berkeley, CA 94720, USA. 2Stanford University, Stanford, CA 94305, USA. ∗Corresponding author. Email: [email protected] †These authors contributed equally to this work; order decided by coin toss. ‡Equal advising; order mirrors the coin toss, with the other lab listed last. The human-like form of humanoid robots positions them uniquely to achieve the agility and versatility in motor skills that humans possess. Learning from human demonstrations offers a scalable approach to acquiring these capabilities. However, prior works either produce unnatural motions or rely on motion-specific tuning to achieve satisfactory naturalness. Furthermore, these methods are often