从专家到通才迈向人形机器人通用全身控制

这份资料要回答的是：人形机器人能否用一个通用策略覆盖高度多样的全身动作，而不是为每个动作单独训练专用策略。材料把难点归因于不同动作的控制需求相互冲突、数据分布不匹配，训练中会出现冲突梯度，最终拖累策略性能。现有框架在单一动作专用策略上表现很好，但跨高度多样行为泛化时明显吃力。这个问题现在值得看，是因为它把“通用性”从单纯的模型容量问题，拉回到数据组织与仿真到现实校准的问题，并给出了一条从专家到通才的可操作路线。

覆盖范围从问题设定、方法管线一直延伸到模拟与真实机器人实验。方法核心是 motion clustering 与 sim-to-real adaptation 的组合，数据来源包括运动特征、运动文本描述，以及真实机器人上收集的轨迹。分析路径是先按行为相似性把动作分组，再在组内训练专家，最后把专家蒸馏成统一控制器。材料还把它与 H2O、HumanPlus、Hover、Exbody2 等路线做了简要对照，指出其中一些方法在完整 AMASS 数据集上训练，可能受多样运动分布带来的梯度冲突影响。

关键设计先从聚类开始。BB 用基于 autoencoder 的聚类方法，把行为相似的动作归到一起，输入不只运动特征，还加入腿部相关特征和运动描述。材料给出的理由是，走、跳、蹲等不同腿部运动需要不同的力矩控制模式，因此腿部动力学是分类动作的关键因素。先在全数据集上训练一个通用跟踪策略，再在每个簇内微调，得到专门的 expert policies。这里材料还出现“auto-regressive clustering”的表述，与摘要中的 autoencoder-based clustering 不完全一致，引用时需要核对原文。

接下来是真实世界校准与统一。专家策略被部署到真实机器人上收集轨迹，每个簇训练一个 delta action model，用来建模仿真与真实状态转移之间的差异，并迭代精炼专家。最后通过专家知识蒸馏得到统一 generalist controller，目标是在所有动作类型上保留敏捷与鲁棒。实验部分，材料称在两个模拟器和一个真实人形机器人上验证，BB 达到 state-of-the-art general whole-body control，并被称为真实世界敏捷、鲁棒、可泛化人形控制的新基准。Figure 1 给出的具体例子是：真实世界通用策略连续跟踪两个长时动作，总时长约135秒，上方是拳击序列，下方是完整 Charleston 舞蹈。

这些结论意味着，通用全身控制的瓶颈不只在策略网络容量，也在训练数据是否被组织成可控的专家子问题。解读来说，先聚类再训练专家，相当于用数据层面的分解降低不同动作之间的负迁移；再用真实数据训练 delta 模型，把仿真到现实的差距当作可学习的修正项，而不是一次性迁移。对实践的直接启发是，训练管线可以按“全量预训练—簇内专家—真实数据迭代—蒸馏部署”来组织，聚类特征要重视腿部动力学，因为它决定力矩控制模式。若这套管线成立，团队可以用同一套流程覆盖拳击、舞蹈等差异很大的动作，而不必为每个动作维护独立策略。

关心人形机器人全身控制、强化学习训练管线和 sim-to-real 落地的研究者与工程团队会关心这份资料。读完能拿走的是一个清晰的 expert-generalist 框架，以及“用腿部特征和文本描述做动作聚类、用 delta action model 做真实校准、用蒸馏合并专家”的方法组合。边界也需要说明：给定材料只给出方法陈述和“state-of-the-art”的结论，没有列出跟踪误差、成功率、对比基线的具体数值，也没有展开失败案例与真实实验规模；真实世界示例只提到约135秒的连续动作。因而它适合用来理解路线和设计选择，不足以据此判断性能优势的幅度。

智在⽆界 BeingBeyond ∝∝∝ ∝智在⽆界 ∝BeingBeyond From Experts to a Generalist: Toward General Whole-Body Control for Humanoid Robots Yuxuan Wang1,2∗ Ming Yang 1,2∗ Ziluo Ding 2∗ Yu Zhang 2∗ Weishuai Zeng1 Xinrun Xu 2 Haobin Jiang 1,2 Zongqing Lu 1,2† 1Peking University 2BeingBeyond https://beingbeyond.github.io/BumbleBee/ Start0s End135s Figure 1: A general whole-body control policy in the real world tracks the motion of two consecutive long- duration actions, with a total duration of approximately 135 seconds. A boxing sequence appears at the top of the image, with a full Charleston dance shown at the bottom. Abstract Achieving general agile whole-body control on humanoid robots remains a major challenge due to diverse motion demands and data conflicts. While existing frameworks excel in training single motion-specific policies, they struggle to ∗These authors contributed equally to this work.