面向随机障碍四旋翼竞速的课程强化学习

自主无人机竞速的研究近几年很热，因为它把敏捷飞行的边界推到了极限。但现有工作大多在无障碍赛道上做文章，一旦赛道里出现随机障碍物，感知和动力学两方面的难度同时上升，成功率就会明显下降，鲁棒性也难以保证。这份资料要回答的正是这个问题：能不能训练出一个端到端的视觉控制策略，让四旋翼在布满未见障碍物的赛道里既飞得快、又不撞？值得注意的是，它把「过门」和「避障」视为一对内在冲突的目标——门本身也是障碍物——这使得问题不是简单叠加一个避障模块就能解决。

方法上，作者提出一个基于视觉的课程强化学习框架。训练从简单的无障碍导航起步，逐步过渡到复杂杂乱赛道，过程中配合带安全裕度的障碍物生成器和随机初始状态，帮助智能体有效探索障碍密集的环境。为提升训练效率并改善跨障碍配置的泛化，他们设计了一种多场景更新机制，按课程难度动态调整训练场景数量。此外还做域随机化，并用一个结构化奖励函数在碰撞惩罚与过门奖励之间取得平衡，使飞行器能在高速状态下做出大角度偏航的感知机动。

策略网络本身刻意保持轻量：观测包括深度图、速度、角速度等，经 CNN 特征提取后与状态量拼接，送入 MLP 与 GRU 构成的 actor-critic 结构，输出推力与三轴角速度指令。整套系统是单一网络的端到端控制，不依赖复杂骨干网络，这为机载实时推理留出了空间。作者在真机上用 Raspberry Pi 计算平台搭配 Intel D435i 深度相机，说明其目标是能实际飞起来，而不只是仿真里的漂亮曲线。

关键数字方面，材料给出的结论集中在速度与成功率两项。实机实验中，四旋翼在带随机障碍的 S 形赛道上自主飞行，速度最高达到 8 m/s；而论文摘要式的总结提到，经硬件在环与真实世界飞行在三条不同赛道上验证，速度可分别达到 10 m/s 与 8 m/s。方法在圈速和成功率上均优于已有方法。需要说明的是，材料没有给出具体的成功率数值、圈速对比表格或消融数据，因此这些「更优」只能作为定性结论引用。

从这三个设计选择——多阶段课程、多场景更新、冲突化解的奖励设计——可以看出作者的判断：泛化失败主要来自训练分布太窄和任务跨度太大。这意味着，如果要在工程上复现或借鉴，重点可能不在网络结构，而在于如何组织难度递增的训练课程、如何按难度调节场景数量，以及如何用奖励项把「必须穿过的障碍」与「必须避开的障碍」区分开。换个角度看，把门当作障碍物处理会带来奖励项之间的直接竞争，作者用奖励结构而非模块化分工来化解，这是一个值得注意的设计取向。

这份资料适合做敏捷飞行、视觉强化学习与 sim-to-real 方向的研究者和工程团队阅读，读完可以拿走三样东西：一个把课程学习、域随机化与多场景训练组合起来的训练流程；一套处理过门与避障冲突的奖励设计思路；以及一个可对照的轻量机载部署方案（代码与视频已在项目主页公开）。边界也需点明：材料只给出了「更快圈速、更高成功率」的定性表述，未提供具体统计与失败案例分析；真实实验在三条赛道上完成，障碍物为随机生成，尚不能说明在更强感知退化或更密集遮挡下的表现。

Curriculum Reinforcement Learning for Quadrotor Racing with Random Obstacles Fangyu Sun, Fanxing Li, Yu Hu, Linzuo Zhang, Yueqian Liu, Wenxian Yu*, Danping Zou* Abstract— Autonomous drone racing has attracted increasing interest as a research topic for exploring the limits of agile flight. However, existing studies primarily focus on obstacle- free racetracks, while the perception and dynamic challenges introduced by obstacles remain underexplored, often result- ing in low success rates and limited robustness in real- world flight. To this end, we propose a novel vision-based curriculum reinforcement learning framework for training a robust controller capable of addressing unseen obstacles in drone racing. We combine multi-stage cu rriculum learning, domain randomization, and a multi-scene updating strategy to address the conflicting challenges of obstacle avoidance and gate traversal.