Transformer 与大语言模型在无人机应用中的最新进展

无人机系统的瓶颈正从飞控硬件转向感知与决策，而 Transformer 类模型恰恰被用来提升这两环以及整机的自主性。这份综述要回答的问题很具体：过去几年里，Transformer 与大语言模型在无人机上究竟被用在了哪些地方、做到了什么程度、还缺什么。领域扩张很快，注意力机制、CNN 与 Transformer 的混合结构、强化学习与 Transformer 的结合、直接调用大语言模型的做法几乎同时出现，术语和评测口径并不统一，新进入者很难判断一项工作处在什么位置。这份资料的价值就在于把分散的路线收拢成一张可对照的地图；从被引 15 次看，它已经在被当作这样的入口使用。

覆盖范围从模型架构一直延伸到落地工具链。作者把 Transformer 在无人机上的工作归为四类：注意力机制、CNN-Transformer 混合、强化学习 Transformer 和大语言模型，并给出了统一的分类法（unified taxonomy）。与以往综述不同之处在于，它不止于罗列，还用结构化表格和性能基准做横向比较，并单列了该领域常用的数据集、模拟器与评价指标。作者分别隶属阿尔及利亚、英国与新加坡的多个机构，背景横跨电子工程、计算机科学与网络安全。

四类架构各自的位置值得说清楚。注意力机制是组件层面的改造；CNN-Transformer 混合按字面理解，是把卷积擅长的局部特征提取与 Transformer 的全局建模结合起来；强化学习 Transformer 指向决策与控制；大语言模型则被放在更高层的任务理解与交互位置。综述特别点出精准农业与自主导航这两类新兴应用，把它们作为近期最值得关注的方向。从文末的缩略语表也能看出覆盖粒度：BERT、CBAM、ECA 这类具体模块，DQN、DRL、联邦学习这类训练范式，以及 FLOPs、FPS、ADE/FDE、IoU 这类算力与精度指标同时出现，说明它试图把「模型怎么搭」和「效果怎么量」放进同一个框架里谈。

引言部分解释了为什么现在做这件事。从有人到无人的转变被归因于安全、效率与成本三条线：在战区、灾害响应区、深海等危险环境中无人系统替代人工作业，在采矿与物流中接管高风险操作，自主车辆还能优化油耗、减少人为失误与停机时间。作者列举了不同类型的载体——自动驾驶卡车这类地面无人车、用于海上侦察监视的无人水面艇、用于水下探测

Recent Advances in Transformer and Large Language Models for UAV Applications Hamza Kheddara, Yassine Habchib, Mohamed Chahine Ghanemc,∗, Mustapha Hemisd and Dusit Niyatoe aLSEA Laboratory, Department of Electrical Engineering, University of Medea, 26000, Algeria bInstitute of Technology, University Centre Salhi Ahmed, Naama, Algeria cCybersecurity Institute, Department of Computer Science, University of Liverpool, L69 3BX, Liverpool, UK dLCPTS Laboratory, University of Sciences and Technology Houari Boumediene (USTHB), Algiers, 16111, Algeria. eCollege of Computing and Data Science, Nanyang Technological University, Singapore. ARTICLE INFO Keywords: Autonomous navigation UAV Drones Multimodal sensor fusion Transformer models Uncrewed aerial vehicles Large language models ABSTRACT The rapid advancement of Transformer-based models has reshaped the landscape of uncrewed aerial