面向障碍感知无人机竞速的可泛化策略学习
OriginalLearning Generalizable Policy for Obstacle-Aware Autonomous Drone Racing
While much of the existing research focuses on racing in obstacle-free environments, few studies have addressed the complexities of obstacle-aware racing, and approaches presented in these studies often suffer from overfitting, with learned policies generalizing poorly to new environments.
- 发布时间
- 2024-11
内容介绍
自主无人机竞速近年被当作检验高速导航能力的基准任务,但绝大多数研究把赛道设成没有障碍物的场景,避障这一现实任务中的核心难点被绕开了。少数处理障碍物场景的工作又普遍存在过拟合问题,学到的策略在新环境中泛化很差。Yueqian Liu 的这项工作正是针对这一空白:如何用深度强化学习训练出单一策略,让四旋翼在从未见过的、带障碍物的赛道里仍能高速飞行而不撞。材料的标题、摘要与引言都指向同一件事——把「可泛化」和「障碍感知」这两个此前分开处理的要求合到一个任务里。这是 2024 年 11 月公开的论文,作者同时开源了代码,对关注学习型飞行策略的人来说,是一个可以复现的起点。
覆盖范围是仿真环境中的障碍感知竞速:策略直接完成从观测到低层指令的映射,训练完成后不再针对新赛道做额外调参。方法的核心是域随机化(domain randomization),但作用点被明确放在赛道上——每次 rollout 之前,对赛道和障碍物配置重新随机,让智能体在大量不同环境中并行采集经验。作者称这一思路借鉴了两类先前工作:在杂乱环境中学习无人机导航的研究,以及可泛化的无障碍竞速研究,二者都采用「多随机环境训练」的做法。实验在仿真中进行,代码发布在 IsaacGymEnvs 相关仓库。需要说明的是,材料只给出了方法框架和实验结论的定性描述,没有提供训练规模、随机化参数区间或与基线方法的逐项对比数据。
结果方面,材料给出的量化指标只有一个:在未见过的杂乱环境中,无人机达到最高 70 km/h 的速度并完成飞行。作者用图示展示了单一策略在多条不同赛道上、面对刻意阻断飞行路径的障碍物时的成功轨迹,并强调泛化不仅体现在赛道布局上,也体现在障碍物的尺寸和形状上——训练中未出现的尺寸与形状同样能被应对。这被作者总结为「首个面向障碍感知竞速任务的可泛化神经策略」,其有效性则被表述为「通过仿真实验验证了所提随机化策略有效」。换句话说,支撑结论的证据是仿真中的成功案例与泛化表现,而非实机飞行或大规模统计对比。
论文自述的贡献有三点:验证域随机化对学习可泛化技能的有效性;给出上述首个可泛化障碍感知竞速神经策略,且策略是观测到低层指令的直接映射;开源工具与可复用模块,供无障碍与有障碍两类竞速研究使用。引言还交代了问题背景的由来:早期 IROS ADR、AlphaPilot、NeurIPS Game of Drones 等赛事的赛道位于相对空旷的空间,不考虑避障也能跑完;而较新的 DJI RMUA 挑战赛把赛道放进杂乱环境,缺乏障碍感知就会导致坠机。这意味着该工作的动机并非纯学术设定,而是比赛场景变化带来的实际需求。
对实践者来说,这项工作的价值主要在于方法取向而非性能数字。把随机化施加在赛道与障碍物配置上、并在随机环境间并行采样,是一种用环境多样性换取策略鲁棒性的做法,作者的判断是这让策略学到的是底层的导航「技能」,而不是与某一两个训练环境绑定的特定观测。这为在杂乱环境中做通用无人机导航提供了一个可延用的训练范式。同时应看到材料对局限的提示:路径规划与优化类方法能达到更短的圈速,但依赖精细设计的算法,模型不匹配时性能会下降;而此前的学习类方法(强化学习与模仿学习)虽能产生低延迟、激进的避障轨迹,却难以泛化到新赛道或新障碍配置——本工作正是针对后者的短板,代价是没有去比拼圈速。作者自己把这项研究定位为「垫脚石」,朝向杂乱环境中鲁棒策略与通用导航,而非终点。
这份资料适合做学习型无人机控制、强化学习泛化、竞速与避障交叉方向的研究者与工程人员阅读。读完能拿走的是一套明确的问题表述、一个以赛道随机化加并行采样为核心的训练配方,以及一个可复现的开源实现入口;如果关注的是「如何让单一策略跨赛道工作」,它的贡献陈述和图示比较直接。边界也需要讲清楚:全部证据来自仿真,70 km/h 是仿真中达到的速度,材料未给出实机验证;作者身份信息来自其硕士论文,指导者为 Hang Yu 与 Christophe De Wagter,隶属 TU Delft 的 MAVLab,机构信息在 OpenAlex 中未能获取;此外材料没有提供与基线方法的定量对比,也没有随机化强度的消融数据,因此对其泛化收益的判断只能停留在作者陈述与图示层面。
原文摘录
自动提取自 PDFLearning Generalizable Policy for Obstacle-Aware Autonomous Drone Racing Yueqian Liu Abstract—Autonomous drone racing has gained attention for its potential to push the boundaries of drone navigation tech- nologies. While much of the existing research focuses on racing in obstacle-free environments, few studies have addressed the complexities of obstacle-aware racing, and approaches presented in these studies often suffer from overfitting, with learned policies generalizing poorly to new environments. This work addresses the challenge of developing a generalizable obstacle- aware drone racing policy using deep reinforcement learning. We propose applying domain randomization on racing tracks and obstacle configurations before every rollout, combined with parallel experience collection in randomized environments to achieve the goal. The proposed randomization strategy is shown