UAV-DETR：面向无人机图像的高效端到端目标检测

无人机图像中的目标检测已经用在不少场景，但现有做法大多绕不开人工设计的组件，比如非极大值抑制和基于经验的锚框，这些组件在不同任务上需要反复调参，复杂且低效。与此同时，不依赖这类组件的端到端模型主要面向自然图像，直接迁移到无人机图像上效果并不理想。这份资料要回答的，正是如何为无人机图像设计一个高效、端到端的检测框架，既减少手工组件带来的调参负担，又能应对航空视角下小目标多、遮挡多的现实问题。在端到端检测器逐渐从自然图像走向专用场景的当下，这个问题的答案值得关注。

资料覆盖了无人机目标检测的背景、相关工作和一套完整的检测Transformer方案，作者来自复旦大学工程与技术研究院。方法层面，它提出UAV-DETR框架，核心包括多尺度特征融合与频率增强模块、频率聚焦下采样模块，以及语义对齐与校准模块。实验选择VisDrone和UAVVaste等无人机图像数据集，用检测精度指标验证有效性和泛化性。整篇的论述线索比较清楚：先指出手工组件和自然图像端到端模型的两类不足，再给出针对无人机图像的三处模块设计。

关键数字集中在VisDrone数据集上：相比基线，UAV-DETR把AP提升了3.1%，把AP50提升了4.2%。材料还提到，在UAVVaste数据集上也观察到类似的提升，说明方法并非只在单一数据集上有效。另一个值得注意的设计是，作者给出了三种不同尺寸的模型，用来满足不同的性能需求。换句话说，这套框架不是只追求一个精度点，而是试图在精度和实际部署之间留出可选择的档位。

从方法细节看，多尺度特征融合与频率增强模块同时捕捉不同尺度上的空间信息和频率信息，目的是增强小目标和被遮挡目标的检测。频率聚焦下采样模块则关注下采样过程中关键空间细节的保留，材料将其描述为保留双域信息。语义对齐与校准模块负责对齐并融合来自不同融合路径的特征，以提升语义表示能力。这些设计针对的是航空图像中目标特征更复杂、局部特征可能不足的问题，也回应了现有方法多依赖空间域、频率域利用不足的现状。

这些结论意味着，端到端检测器在无人机图像上并不只是“去掉NMS”这么简单，还需要在特征提取和下采样环节补上适合航空视角的结构。对实践而言，减少手工组件和大量调参，有望降低不同任务间的迁移成本；频率信息的引入，则为小目标和遮挡场景提供了空间域之外的补充。三种尺寸的模型设置也提示，实际部署时要根据硬件算力和实时性要求做取舍，而不是默认最大模型。需要注意的是，材料中的提升数字来自与基线的对比，具体能带来多少工程收益，仍取决于部署环境和数据分布。

适合做无人机视觉检测、端到端检测器研究以及边缘部署的读者阅读。读完可以拿走一个清晰的问题框架：现有UAV-OD算法依赖手工组件，自然图像端到端模型对航空图像不够有效，UAV-DETR用多尺度频率增强、频率聚焦下采样和语义对齐校准来应对。也能拿到VisDrone上AP提升3.1%、AP50提升4.2%这一组可核对的证据。边界同样明显：材料只给出VisDrone和UAVVaste上的提升描述，没有展开实时性能的具体数字，泛化性结论也主要建立在这两个数据集上；若关心部署帧率或更多场景表现，还需要结合项目页和后续实验判断。

arXiv:2501.01855v3 [cs.CV] 1 Jul 2025 UA V-DETR: Efficient End-to-End Object Detection for Unmanned Aerial Vehicle Imagery Huaxiang Zhang, Hao Zhang, Kai Liu, Zhongxue Gan*, and Guo-Niu Zhu*, Member, IEEE Abstract— Unmanned aerial vehicle object detection (UA V- OD) has been widely used in various scenarios. However, most existing UA V-OD algorithms rely on manually designed components, which require extensive tuning. End-to-end models that do not depend on such manually designed components are mainly designed for natural images, which are less effective for UA V imagery. To address such challenges, this paper proposes an efficient detection transformer (DETR) framework tailored for UA V imagery, i.e., UA V-DETR. The framework includes a multi-scale feature fusion with frequency enhancement module, which captures both spatial and frequency information at different scales.