VLN-Pilot：大型视觉语言模型作为室内无人机自主操作员

室内无人机到今天仍然高度依赖人在回路的操控，原因很具体：空间狭窄、存在动态障碍、没有 GPS 信号，人拿遥控器飞仍是不少工业场景的常规做法。视觉-语言导航（VLN）在地面机器人上已经积累了成体系的基准与方法，但把这套范式搬到无人机上，材料明确称之为「开放且具有挑战性的前沿」。VLN-Pilot 要回答的问题就是：能不能让一个大型视觉语言模型（VLLM）直接站到「人类飞手」的位置上，听懂自由形式的自然语言指令，并把它落到室内飞行的具体轨迹里。这个问题现在值得看，是因为它没有笼统地说「用大模型飞无人机」，而是把高层语义推理和低层飞行控制明确切成两层，给出一个可以被检验的混合架构。

方法上，系统给 VLLM 的输入被刻意收窄：一张描述房间连通关系的拓扑地图，加上飞行过程中拍摄的前视图像。模型要在这个受限的感知条件下推断自己当前在哪、理解语言描述的任务目标、规划带有语义含义的轨迹。低层由一套基于状态机的架构负责稳定飞行、避障和基本飞行动作，VLLM 则充当监督控制器，依据对导航目标和当前视觉场景的理解决定何时在状态之间切换。原型在一个基于 Unity 的仿真环境里评测，复刻了 DJI Tello 无人机与逼真的室内场景，作者来自 University of Alicante 的 University Institute for Compute Research。

与传统做法的对照是它的第一个着力点。规则式或几何路径规划的思路，往往要把任务拆解成大量针对具体场景的工程实现；VLN-Pilot 的取向是把语言驱动的语义理解和视觉感知接在一起，从而得到具备上下文感知能力的高层飞行行为，且只需极少的任务专属工程。换句话说，换一个任务目标，理想情况下只需要换一句指令，而不是重写一遍规划器。作者报告该 agent 在复杂指令跟随任务上取得了高成功率，其中包括带多个语义目标的长程导航——指令里先后点名多个地点，agent 需要顺着语义推进，而不是简单走几何最短路径。

支撑「全自主指令跟随」的能力清单包括三项：对空间关系的推理、避障、以及对未预见事件的动态反应。这里有一点需要如实说明：在给定材料中，成功率只有「高」这样的定性表述，没有出现具体数值，也没有给出与基线方法的对比表格，所以无法据此判断领先幅度。可确认的是评测设定本身——自定义的逼真室内仿真基准、拓扑地图加前视图像这一受限输入，以及长程多目标任务被作为重点场景。这三点合起来，界定了这项工作到底在什么条件下成立。

往前推一步看意义。作者的主张是用语言引导的自主 agent 替代远程飞手，并把这条路径与 inspection、search-and-rescue、facility monitoring 这类任务挂钩——它们的共同点是室内、GPS 拒止、需要人反复操控，规模化受制于飞手数量。我的解读是，真正的杠杆未必在某个单项指标上，而在于操作员工作量的大幅下降和任务灵活性的提升，因为调整任务只需调整指令。混合设计——状态机兜住稳定与避障，VLLM 只做高层决策——也让行为更可解释、更贴近人的预期，这对安全相关的室内作业是必要的。

对做具身智能、无人机自主和 VLN 的读者，这份材料最值得拿走的是一套分层切法和一个可复现的评测设定：理解与决策交给 VLLM，稳定与避障留给状态机，输入边界被明确限定为拓扑地图加前视图像。读完可以据它搭一版自己的仿真验证流程，也可以把它当作「VLLM 做监督控制器」这一路线的假设清单。边界同样清楚：全部结论来自仿真，材料中没有真实飞行验证；感知输入只提到拓扑地图和前视图像，未涉及深度或其他传感器；成功率缺具体数字；与 UAV-VLN、AerialVLN 等前人工作的关系，材料只在相关工作里并列提及，没有给出对比实验。这些都应被当作待确认项，而不是已经落地的结论。

VLN-Pilot: Large Vision-Language Model as an Autonomous Indoor Drone Operator Bessie Dominguez-Dager*[0000−0003−2214−3849], Sergio Suescun-Ferrandiz[0009−0008−1521−0031], Felix Escalona[0000−0003−2245−601X], Francisco Gomez-Donoso[0000−0002−7830−2661], and Miguel Cazorla[0000−0001−6805−3633] University Institute for Compute Research. University of Alicante. Ctra. San Vicente del Raspeig SN, 03690, Alicante. SPAIN. {bessie.dominguez, sergio.suescun, felix.escalona, fgomez, miguel.cazorla}@ua.es *Corresponding Author Abstract.This paper introducesVLN-Pilot, a novel framework in which a large Vision-and-Language Model (VLLM) assumes the role of a human pilot for indoor drone navigation. By leveraging the multi- modal reasoning abilities of VLLMs, VLN-Pilot interprets free-form nat- ural language instructions and grounds them in visual observations to