SINGER：无人机机载通用视觉语言导航策略

用自然语言指一个目标——比如“飞到那辆红色卡车旁”——让无人机只靠机载感知与计算，在完全没见过的环境里找到它，这就是 SINGER 试图回答的问题。作者的提问方式很直接：能否训练一个视觉-语言导航策略，让它抵达此前未见的语言指定目标物，并且推理全部在机载硬件上完成。这项工作出自 Stanford 大学航空航天与机械工程系的研究者。值得现在看的原因在于时机：视觉-语言模型已经把开放词汇的机器人策略在操作任务上推得很远，通用操作策略能听懂“把苹果拿起来放到盘子上”，但同一套范式在无人机上基本没有成功。作者把原因归为三点：大规模演示数据稀缺、无人机为保持稳定而对实时控制的苛求、以及对外部位姿估计模块的依赖。

方法上，SINGER（Semantic In-situ Navigation and Guidance for Embodied Robots）由三个组件协同工作。第一个是语义丰富的逼真飞行模拟器，它把 3D Gaussian Splatting 的场景重建能力与 CLIP 计算的开放世界视觉-语言语义特征结合起来，目标是缩小 sim-to-real gap 并高效产出数据。第二个是受 RRT 启发的多轨迹生成专家（RRT* 规划器），它把一棵扩展的树按时间反转，从而为语言指定的目标快速算出空间上铺开的无碰撞路径，作为演示数据。第三个是轻量的端到端视觉运动策略，它用实时反馈跟踪上层规划，形成闭环控制。

训练数据的构造方式值得单独说一句：策略的条件输入不是原始图像，而是从第一视角渲染、基于多条语言查询算出的 CLIP 语义相似度图像。作者把目标指定抽象到语义空间，由此让少量合成专家轨迹能够对齐到很广的任务集合，形成一套数据高效的学习方案；再叠加域随机化以增加鲁棒性。规模上，策略在约 70 万到 100 万对语言条件的视觉运动观测-动作数据上训练。部署时改用 CLIPSeg 生成环境的开放词汇语义图作为条件输入，交给端到端策略输出底层无人机指令。

硬件飞行实验给出的数字是这份资料里最扎实的部分。在未见环境和未见语言条件目标物上做零样本 sim-to-real 迁移，SINGER 相对一个速度控制的语义引导基线，平均有 23.33% 更多的次数抵达查询目标，平均有 16.67% 更多的时间把查询目标保持在视野内，碰撞次数还少 10%。作者强调这些结果不依赖外部位姿估计，也不依赖基于地图的方案。换句话说，比较的不只是“能不能到”，还包括“是否一直看得见目标”和“撞得多少”这两个在真实飞行里更贴近可用性的指标。

这些结论意味着开放词汇无人机导航的瓶颈，可能更多卡在数据与语义蒸馏上，而不是模型容量上。把 Gaussian Splatting 的逼真渲染与 CLIP 语义结合，是一条同时缓解数据稀缺和 sim-to-real gap 的路径；把目标抽象成语义相似度图像，则让同一批轨迹可以服务大量不同查询。对实践的影响是：端到端策略直接输出底层指令、推理全在机上，省掉了外部动捕或预先建图这类部署前提，对临时任务更友好。也要注意基线的性质——对手是速度控制的语义引导方法，而不是另一个端到端 VLA 策略，所以这组百分比说明的是相对这一路线的增益。

关心具身智能与无人机自主飞行交叉方向的研究者、做机器人策略学习的工程师，以及需要无人机在未知环境里按语言指令找目标的产品团队，都能从中拿到可复用的设计取舍：模拟器怎么建、专家演示从哪来、策略输入怎么设计。可带走的核心理念是“语义空间对齐 + 逼真仿真 + 轻量闭环策略”这一个组合。边界也要说清楚：材料给出的只有摘要级别的描述与几组相对百分比，没有硬件平台、飞行速度、失败模式、真实数据规模的细节，也没有绝对成功率；指标口径是亚米级接近目标，与基线比较的具体场景设置同样没有展开。引用或复现之前，还需要回到原文核对实验条件。

SINGER: An Onboard Generalist Vision-Language Navigation Policy for Drones Maximilian Adang, 1 JunEn Low,2 Ola Shorinwa, 1 and Mac Schwager 1 Abstract— Large vision-language models have driven re- markable progress in open-vocabulary robot policies, e.g., generalist robot manipulation policies, that enable robots to complete complex tasks specified in natural language. Despite these successes, open-vocabulary autonomous drone navigation remains an unsolved challenge due to the scarcity of large- scale demonstrations, real-time control demands of drones for stabilization, and lack of reliable external pose estimation modules. In this work, we present SINGER for language-guided autonomous drone navigation in the open world using only onboard sensing and compute. To train robust, open-vocabulary navigation policies, SINGER leverages three central compo-