利用领域知识实现UAV集群协同避障的学习框架

多旋翼无人机集群要一起飞，最难的不是单机避障，而是让集群成员之间形成无缝配合。这份资料把目标定得很清楚：安全与能效必须同时成立，因为现成无人机的飞行时间受机载电源限制，频繁变速或绕远都直接折算成续航损失。值得现在看的原因在于，它没有继续在观测共享和信用分配这些主流多智能体强化学习套路上加码，而是换了一条路——用图像处理领域的知识来设计奖励函数。对于关心大规模集群训练能否落地的人来说，这是一个方向性的提法，而不只是一次指标微调。

覆盖面从问题定位一直延伸到方法对比。资料先梳理了传统路线的短板：基于速度障碍、人工势场和元启发式优化的方法缺少长期规划，能效偏低，而且各自把同伴当成环境的一部分，天然难以协作；把人工势场与粒子群优化结合的混合方法虽然补上部分短板，但元启发式方法反应时间长，不适合复杂环境下的实时应用。随后它逐一指出主流多智能体强化学习的代价：早期依赖观测共享的做法在智能体数量增加时性能退化，共享频率还多出一个敏感超参数；显式信用分配方法多针对离散动作空间，不适合需要连续控制输出的无人机；隐式信用分配则可能带来无界发散和意外动作，且智能体变多后机制失效。方法来源不是专家示范数据，而是跨学科领域知识——这一点在材料中被明确作为与模仿学习的分界。

核心构造是把无人机轨迹近似为二维场上的等高线，障碍物则建模为场上的峰值。这个映射一旦成立，安全性就不是靠惩罚项反复调参压出来的，而是几何上的必然：等高线不会穿过峰值，也不会彼此相交，于是碰撞被结构性排除。同理，等高线是平滑连续的曲线，对应到飞行上就是平滑、连续的轨迹，能效优势由此而来。换句话说，作者把“别撞”和“别乱拐”这两个要求，翻译成了奖励函数里的一种形状约束，而不是两条互相拉扯的惩罚权重。

可扩展性来自两处刻意的解耦。其一，观测共享只用于构造奖励，不进入网络优化，从而避开了把观测共享直接施加到网络上所引发的那些问题。其二，不需要复杂的信用分配方案，无人机只靠最大化各自的个体奖励就能学到协作行为。这两点合起来的效果是智能体之间的交互被压到很低，因而支持大规模集群训练——这正好对应前面提到的几类方法在智能体数量上升后集体失效的痛点。此外，最大化奖励本身会驱使轨迹去逼近等高线，等于给动作加了稳定和约束的作用，而不是放任策略在连续空间里乱探。

这些结论的实践含义，是训练负担的转移：把促成协作的压力从网络结构挪到奖励设计上，集群规模的天花板就不再由信用分配机制的表达能力决定。作者的论证还留了一个余地——当环境复杂到等高线不可行或根本不存在时，无人机可以通过强化训练获得适应能力。这意味着该框架并不承诺在任意场景下都有可用的几何解，几何只是训练的起点和骨架，最终策略仍要靠训练补足。反过来说，如果任务场景本身就能画出清晰的等高线结构，这套奖励的性价比会明显更高。

读完能拿走的是一套可复用的思路：找一个成熟领域里已经被反复验证的几何或结构性质，把它编码成奖励，让安全与能效从约束变成形状的自然产物；以及一张清晰的方法对照表，说明观测共享、显式与隐式信用分配各自在哪一步失效。边界也需要交代清楚：材料中的实验部分只写到“进行了大量实验，与当前最优的多智能体强化学习算法对比”，没有给出集群规模、成功率或能耗的具体数值，因此无法据此判断优势幅度；摘要中“counters are smooth and energy-efficient”一处疑为“contours”的笔误，涉及细节时建议回原文核对；论文本身标注为投稿AAAI 2026，尚处于评审阶段，结论的稳健性有待正式发表后的检验。

A Learning Framework For Cooperative Collision A voidance of UA V Swarms Leveraging Domain Knowledge Shuangyao Huang 1, Haibo Zhang 2, Zhiyi Huang 2 1 School of Internet of Things, Xi’an Jiaotong-Liverpool University, Suzhou 215400, China 2 School of Computing, University of Otago, Dunedin 9016, New Zealand [email protected], [email protected], [email protected] Abstract This paper presents a multi-agent reinforcement learning (MARL) framework for cooperative collision avoidance of UA V swarms leveraging domain knowledge-driven re- ward. The reward is derived from knowledge in the do- main of image processing, approximating contours on a two- dimensional field. By modeling obstacles as maxima on the field, collisions are inherently avoided as contours never go through peaks or intersect. Additionally, counters are smooth and energy-efficient.