Mobile ALOHA:低成本全身遥操作双臂移动操作
arXiv 2401.02117 公开PDF,服务具身智能方向补强。
- 发布时间
- 2024-01
内容介绍
这份资料围绕一个具体问题:模仿学习能否从桌面操作扩展到需要移动底座与双臂协调的移动操作,以及能否用低成本硬件采集全身遥操作数据。材料指出,多数机器人模仿学习结果集中在桌面操作,缺少一般有用任务所需的移动性与灵巧性;而现成双臂移动平台价格高,遥操作硬件和校准也很复杂。因此,Mobile ALOHA 的价值在于同时给出硬件系统、数据采集接口和学习结果。现在值得看,是因为它把“全身遥操作—数据—策略”放在一个低成本方案里讨论。
覆盖范围包括系统设计、遥操作数据采集和模仿学习实验。方法上,Mobile ALOHA 在原有 ALOHA 系统上增加移动底座和全身遥操作接口;用户与系统物理连接,通过反驱轮子移动底座,同时双手操控 ALOHA,系统同步记录底座速度与手臂操控数据。动作表示把 ALOHA 的14个自由度关节位置与移动底座的线速度、角速度拼接成16维动作向量,因此可以直接沿用现有深度模仿学习算法,几乎不需要改实现。学习阶段采用监督行为克隆,并把 Mobile ALOHA 采集的数据与已有静态 ALOHA 数据集联合训练;材料说明静态数据来自 RT-X 发布,包含825个 episode,任务与 Mobile ALOHA 任务不相交,且两臂安装位置不同。
关键数字先从成本看:材料称该系统成本为3.2万美元,包含 onboard power and compute;作为对照,材料提到 PR2、TIAGo 这类平台售价可超过20万美元,且额外遥操作硬件与校准仍是门槛。数据效率方面,材料给出每个任务50次演示的设置,并称联合训练可将成功率最多提升90%。这意味着低成本硬件并不是唯一贡献,数据复用策略同样关键。这里的“最多提升90%”是材料中的上限表述,不代表每个任务都达到同一幅度。
任务层面,材料列出 Mobile ALOHA 能自主完成的复杂长程移动操作,包括煎并端上一只虾、打开双门壁柜存放沉重锅具、呼叫并进入电梯、用厨房水龙头轻冲用过的锅。图1还给出 use cabinet、cook shrimp、push chairs、wipe wine、high five、call elevator 等任务示例,说明评测覆盖厨房与办公场景中的移动、双臂协调和全身控制。作者报告,在几乎所有移动操作任务上观察到正迁移,达到等效或更好;结合每任务50次演示与最多90%的成功率提升,可以看出联合训练对移动操作任务有实际帮助。
这些结论的实践含义在于,移动操作的数据采集不必从昂贵的一体化平台起步。解读来说,把底座速度和双臂关节位置统一成动作向量,能降低算法改造成本,让已有行为克隆方法直接进入移动操作场景;而用静态双臂数据做联合训练,则为移动数据不足提供了一条可操作的补充路径。对实验室和工程团队而言,材料给出的关键不是某个单点技巧,而是“低成本遥操作硬件+简单动作拼接+跨数据集联合训练”的组合。需要注意,这套组合仍依赖每任务50次演示和相应任务设计,不能理解为零数据即可泛化。
这份资料适合做具身智能、机器人模仿学习、遥操作数据采集和移动操作的研究者与工程团队阅读。读完可以拿走几项具体信息:系统成本构成、14-DoF 加底座速度的16维动作定义、静态 ALOHA 数据联合训练的思路,以及煎虾、开柜、进电梯、冲洗锅具等长程任务清单和成功率提升量级。边界也明显:给定材料主要呈现系统与正面结果,没有展开失败模式、安全性、长期鲁棒性和更细的基线对比;825个 episode 的静态数据与每任务50次演示也限制了对外推范围的判断。换句话说,它更适合作为方案参考和论文盘点入口,而不是完整的工程落地评估。
原文摘录
自动提取自 PDFJanuary 2024 Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation Zipeng Fu*1, Tony Z. Zhao*1, Chelsea Finn 1 *project co-leads, 1Stanford University https://mobile-aloha.github.io use cabinet cook shrimp push chairs Learned Policies wipe wine high five call elevator Figure 1: Mobile ALOHA . We introduce a low-cost mobile manipulation system that is bimanual and supports whole-body teleoperation. The system costs $32k including onboard power and compute. Left: A user teleoperates to obtain food from the fridge. Right: Mobile ALOHA can perform complex long-horizon tasks with imitation learning. Abstract Imitation learning from human demonstrations has shown impressive performance in robotics. How- ever, most results focus on table-top manipulation, lacking the mobility and dexterity necessary for gen- erally useful tasks.