assessment 研究报告机器人与具身智能其他2026-04

Open-H-Embodiment:面向医疗机器人基础模型的大规模数据集

OriginalOpen-H-Embodiment: A Large-Scale Dataset for Enabling Foundation Models in Medical Robotics

However, autonomous medical robotics has been limited by a fundamental data problem: existing medical robotic datasets are small, single-embodiment, and rarely shared openly, restricting the development of foundation models that the field needs to advance.

发布时间
2026-04
link 原始页面

notes 内容介绍

医疗机器人要走向自主,卡点往往不在算法创意,而在数据。材料的出发判断很直接:现有医疗机器人数据集规模小、只覆盖单一本体,且很少公开共享,这直接限制了该领域所需要的基础模型的发展。Open-H-Embodiment 正是针对这一缺口提出的,它自称是目前规模最大的、带同步运动学的开放医疗机器人视频数据集,并用两个在该数据上训练出的基础模型来证明这批数据真的能支撑研究,而不只是规模数字。

覆盖范围是这份资料最有说服力的部分。数据集横跨 50 多家机构,汇集多种机器人平台的数据,包括 CMR Versius、Intuitive Surgical 的 da Vinci、da Vinci Research Kit(dVRK)、Rob Surgical BiTrack、Virtual Incision 的 MIRA、Moon Surgical Maestro,以及一批自定义系统。术式上覆盖手术操作、机器人超声与内镜检查三类场景。数据形态是视频配上同步的运动学信号——换句话说,记录的不只是「看到了什么」,还有「机械臂当时在做什么」,这正是训练视觉-语言-动作模型所需要的配对结构。参与方名单里既有 NVIDIA、Johns Hopkins University、Technical University of Munich、Stanford University 这样的研究机构,也有 CMR Surgical、Virtual Incision、Moon Surgical、Rob Surgical 等平台厂商,跨机构协作本身是这份数据能成立的前提。

第一个演示模型是 GR00T-H,材料称其为医疗机器人领域首个开放的视觉-语言-动作基础模型。它的成绩单有两个数字值得注意:在一个结构化的缝合基准上,它是所有被评估模型中唯一实现完整端到端任务完成的,完成率为 25% 的试验,其余所有模型均为 0%。在一条 29 步的离体缝合序列上,它取得 64% 的平均成功率。解读这两组数字:25% 与 0% 的对比说明「能不能做完」和「能不能做对几步」是两回事,端到端完成本身就是一道门槛;而 64% 说明在更细粒度的步骤层面,模型已经学到了相当一部分可复用的操作表征,但距离可靠仍有明显距离。

第二个是 Cosmos-H-Surgical-Simulator,材料称其为首个动作条件的世界模型,能够用单一检查点实现多本体的手术仿真。它覆盖九个机器人平台,并支持 in silico 的策略评估与合成数据生成。这意味着,如果用同一个模型就能为不同厂牌、不同构型的机器人渲染出对动作有响应的手术场景,那么策略评测和增广数据的成本结构会发生变化,不必为每一台机器单独搭建仿真管线。需要说明的是,这仍是材料给出的定位,具体的仿真保真度与跨本体迁移效果在给定信息里看不到。

把三件事放在一起看,这份资料的贡献不止于「最大」。它实际上把医疗机器人自主化的数据瓶颈拆成了可分工的三层:开放的多机构多本体数据采集、在其上训练的通用操作策略,以及用于评测与数据增广的多本体世界模型。对实践的影响是,团队不必从零自建数据与基线,可以直接在同一基准上比较方法;跨九个平台的单检查点仿真,也降低了做跨本体迁移研究的门槛。但也要看清成绩的量级:结构化缝合 25% 的端到端完成率,说明端到端自主手术操作仍处在早期,现阶段的现实用法更可能是辅助、步骤级自动化与仿真预训练,而不是整台手术的无人执行。

对做医疗机器人学习、视觉-语言-动作模型、手术仿真与数据集建设的研究者来说,这份资料提供了一个可引用的规模坐标和一组可对标的基线数字:50 多家机构、多平台覆盖、缝合基准 25% 对 0%、29 步序列 64%、单检查点覆盖 9 个平台。读完能拿走的主要是这些量化参照,以及「开放数据加开放基线模型」这一推进方式的样板。边界同样明显:以上判断全部来自摘要与引言层面的描述,数据的具体样本量、标注规范、隐私与伦理审批流程、获取方式,以及两个模型的训练细节和消融结果,在给定材料中都没有展开;缝合任务上的绝对成功率也提示,把这些结果外推到真实临床场景需要额外验证。

format_quote 原文摘录

自动提取自 PDF

Open-H-Embodiment: A Large-Scale Dataset for Enabling Foundation Models in Medical Robotics Nigel Nelson1,†, Juo-Tung Chen2,†, Jesse Haworth2,†, Xinhao Chen2,†, Lukas Zbinden1,†, Dianye Huang3,†, Alaa Eldin Abdelaal4, Alberto Arezzo5, Ayberk Acar6, Farshid Alambeigi7, Carlo Alberto Ammirati5, Yunke Ao8,9,10, Pablo David Aranda Rodriguez11, Soofiyan Atar12, Mattia Ballo13, Noah Barnes2, Federica Barontini5, Filip Binkiewicz14, Peter Black15,16, Sebastian Bodenstedt17,18, Leonardo Borgioli19, Nikola Budjak11, Benjamin Calmé20, Fabio Carrillo8, Nicola Cavalcanti8, Changwei Chen12, Haoxin Chen21, Sihang Chen22, Qihan Chen23, Zhongyu Chen24,25, Ziyang Chen26, Shing Shin Cheng24, Meiqing Cheng27, Min Cheng28,22, Zih-Yun Sarah Chiu2, Xiangyu Chu24,25, Camilo Correa-Gallego29, Giulio Dagnino5,30, Anton Deguet2, Jacob Delgado2, Jonathan C.