SPIRAL：多无人机竞速自博弈增量学习算法

多无人机竞速到底该怎么训练，才能让自主无人机既能在拥挤空间里完成协同与避撞，又发展出真正有竞争力的对抗行为？这是 SPIRAL 试图回答的问题。单机竞速在深度学习推动下已经出现过端到端视觉竞速的成功演示，但一旦把对手放进赛道，智能体之间的协调、复杂环境中的鲁棒避撞以及竞争策略的构建，复杂度就明显超出 flocking 或基础集群行为这类一般多智能体问题。现有博弈论规划器虽然性能领先，却往往计算开销不小，于是“既要有竞争力、又要数据高效和可扩展”的方法成了缺口。与此同时，self-play 在 Chess、Go、Dota 2、StarCraft II 上反复证明它能支撑高复杂度对抗训练，这份资料正是把这条思路系统搬进多无人机竞速的一次尝试。

SPIRAL 的定位是一个基于 self-play 的增量式多智能体学习框架，专门面向多无人机竞速环境。它的训练流程被拆成三个递进阶段：第一阶段在隔离条件下建立基本飞行控制能力，第二阶段进入 1v1 对抗的 self-play 训练循环，第三阶段扩展到 2v2 的团队动态。第二、三阶段的 self-play 循环让智能体不断与自己的历史最佳策略比赛，从而持续改进，且不需要外部专家演示。框架在设计上允许接入任意 state-of-the-art 的 DRL 算法，材料以 Stable-Baselines3 这类成熟库为例说明其可插拔性。验证方式是在仿真中运行，并对多种 DRL 算法在该框架内的表现做了 benchmark。

从材料给出的框架描述看，最值得注意的设计是“渐进”二字如何落地。第一阶段先把飞行控制单独练好，避免智能体在还没学会基本飞行时就被扔进对抗；第二、三阶段再引入 self-play，让对手始终来自自己不断更新的最佳策略。这意味着训练难度的上升不是靠人工设计课程，而是由 self-play 动态自然生成：对手变强，交互难度随之升级。作者把这套过程概括为一条从掌握基本飞行控制，到执行复杂的多无人机协作竞速策略的渐进学习旅程。

关于效果，材料给出的结论是定性的：仿真实验显示了 SPIRAL 的显著优势，并对运行在该框架内的多种 DRL 算法做了性能 benchmark；作者据此称自己贡献了一个通用、可扩展、能自我改进的学习框架。需要说明的是，可见材料里没有给出具体的性能数值、收敛速度或样本效率数据，也没有与博弈论规划器做量化对比。因此对这些“显著优势”的判断，目前只能理解为作者基于仿真实验的陈述，而不是可以直接引用的数字结论。材料本身也把依据表述为“initial numerical experiments”，措辞留有余地。

这些结论意味着什么？在解读层面，SPIRAL 的价值更多在于提供一种训练组织方式，而不是某个刷榜的算法。它把 self-play 当作自动课程生成器：智能体不需要外部专家轨迹，挑战由自身策略的迭代产生，而“自生成递增难度”恰恰是多智能体竞速里最难手工设计的部分。对实践者来说，如果手里已有成熟的 DRL 实现，理论上可以把它套进这个三阶段结构，先单机打基础、再 1v1、最后 2v2，用较小的改造成本获得一条从简单到复杂的训练路径。与依赖博弈论求解的规划器相比，这条路线强调的是数据效率

SPIRAL: SELF-PLAYINCREMENTALRACINGALGORITHM FOR LEARNING INMULTI-DRONECOMPETITIONS ∗ Onur Akgün Department of Mechatronics Engineering Faculty of Engineering Turkish-German University Istanbul, Türkiye [email protected] ABSTRACT This paper introduces SPIRAL (Self-Play Incremental Racing Algorithm for Learning), a novel approach for training autonomous drones in multi-agent racing competitions. SPIRAL distinctively employs a self-play mechanism to incrementally cultivate complex racing behaviors within a chal- lenging, dynamic environment. Through this self-play core, drones continuously compete against increasingly proficient versions of themselves, naturally escalating the difficulty of competitive interactions. This progressive learning journey guides agents from mastering fundamental flight control to executing sophisticated cooperative multi-drone racing strategies.