XEbench 白皮书：同一策略在不同机械手上的跨本体评测协议

机器人策略在训练所用的那台机器上表现如何，通常是有答案的；但换一只手、换一套本体之后它在哪里失效，在硬件到货之前几乎无法回答。XEbench 白皮书要处理的正是这个问题：冻结同一个策略检查点，把它放到几个完整本体（机械臂加夹爪）上运行，任务、场景、试验次数和评分规则全部保持一致，这样分数若有变化，就只能归因于本体。Robotics Center 在摘要里说得很清楚，这不是排行榜，而是一种共同的方式，让人看见「本体」在什么地方把策略弄坏了。之所以现在值得看，是因为材料给出了一个颇不客气的证据：在他们的初步结果里，一个开源基线在自己的协议下微调后，误差低于他们自家的 XE-0.1 模型。

覆盖范围与方法需要说清楚。材料明确标注状态为 preliminary，协议本身开放评论；已测结果全部来自 Robotics Center 自己，对象是带夹爪的双臂机器人，内容是一项 XE-0.1 策略的迁移研究（以 2026-10-05 的数据为头条），外加八项预注册的后续分析（2026-10-06 至 2026-10-11 之间完成，第九项中途停止、不完整）。协议要求每次发布同时报告成功率及其 95% Wilson 区间、相对人类遥操作同一本体的吞吐量，以及跨本体离散度 σ；一个单元格至少需要 40 次有效试验，一个汇总至少需要 3 个本体。这一套设计的用意，是把「私有测试各测各的」变成可比较的结果——材料提到，他们在 Dexterity Day 接触的团队各自跑跨本体测试，任务、试验次数和成功判定规则都不同，结果无法互相对照。

关键数字集中在同一项任务上：RoboCOIN stack_baskets，三台真实双臂机器人，配原厂夹爪。用 XE-0.1 版本、在另外两台机器人上预训练后，留出那台机器人的开环平移误差平均降低 +8.7%（95% CI [+5.8, +11.5]），前提是它自己只有 20 条示范，且走「公平协议」。这里要标明两点：指标是开环误差，不是任务成功率；机器人用的是夹爪，不是灵巧手；而且模型由 Robotics Center 自己构建、研究也由他们自己跑。更能说明协议价值的是预注册比较：Octo-Base 这个由原作者在其他机器人数据上预训练的开源策略，经 Robotics Center 在同一协议下微调后，误差比 XE-0.1 的迁移条件更低（宏观平均、跨三台机器人）；但逐台看，只有 RMC-AIDA-L 上的差别是清楚的，Cobot Magic 和 R1 Lite 上不确定。材料由此下了一个判断：XE-0.1 只是一个参考策略，不是最好的起点。Octo-Base 同样在平均上优于 XE-0.1 的 scratch 条件，与上述发现一致。

值得注意的是，同一批后续分析在缩小他们自己的数字。按最初的协议，同一项 XE-0.1 研究给出的是另一个迁移增益；改为在验证集上选择各条件的学习率、并用确定性方式解码之后，数字移到 +8.7%，材料说这一步吃掉了 8.7 个百分点里的 5.6 个，且主要来自解码。用归一化动作目标（XE-0.2）时增益不再成立，且受代码漂移干扰；在 fold_clothes 上，scratch 脱离损失平台后，增益从较高值降下来；预训练数据增加到约 4 倍、算力保持不变，在这个规模上没有实质差别。换句话说，协议本身的选择——学习率怎么定、动作怎么解码——就足以改变头条结论，这正是他们主张「必须固定协议并公布试验次数、排除规则和区间」的理由。

这些结论对实践的影响是具体的。买机械手的一方，过去只能在下单后用自己的任务测一次，现在至少有了一个可引用的口径：同一检查点、同一任务与评分，跨至少三个本体、每格至少 40 次有效试验，并带区间。对做策略的团队，材料提示了一件不太好接受的事——自家模型未必是迁移条件下的最优起点，开放基线在同一协议下可以赢，而胜负还可能只在部分本体上成立。我的解读是，这类结果的价值不在于谁排第一，而在于它示范了「协议能对自己的作者开火」：一个固定协议如果只能证明自家模型好，就无法建立可比性。同样要强调的是，材料反复声明所有数字都是初步的、仍可能变化。

读这份材料的边界必须一并带走。材料明确说，目前不存在灵巧手的结果，也还没有任何 XEbench 运行被正式发布；已报告的只是夹爪双臂机器人上的开环误差与迁移研究，且由模型作者自己执行，虽然协议声称可对自身作者报告。因此它能提供的是一个可讨论的协议草案、一组带区间的初步数字，以及一条方法论上的提醒：不控制学习率选择与解码方式，跨团队结果就没有可比性。对于要评估「换本体后策略还剩多少」的实验室和采购方，这份白皮书给出的是提问方式和测量口径；对于想直接引用排行榜的人，它暂时还给不出那个东西。

W H I T E P A P E R · V 0 . 3 . 2 · O C T O B E R 2 0 2 6 XEbench Same policy. Different hands. One protocol. An open protocol for measuring where embodiment breaks a robot policy. S T A T U S : P R E L I M I N A R Y The protocol is version 0.1.0 and open for comment. The measured results in this paper are Robotics Center's own, on bimanual robots with grippers: a transfer study of our XE-0.1 policy (headline as of 2026-10-05) and eight pre-registered follow-ups analysed between 2026-10-06 and 2026-10-11 (a ninth stopped incomplete). In the latest, an open baseline, Octo-Base, fine-tuned by RC under the same protocol, had lower error than our own model's transfer condition, averaged over three robots. All are reported here. Every number in it is preliminary and may still change. No dexterous-hand result exists yet, and no XEbench run has been published yet. Robotics Center