FM-Planner 基础模型引导的自主无人机路径规划

无人机要在复杂环境里安全高效地飞，路径规划是绕不过去的一环。A*、RRT 这类经典算法胜在简单，但在动态、高维、需要语义理解的环境里适应性有限；Fast-Planner、EGO-Planner 等优化方法把规划写成带约束的优化问题，却依赖对环境和机器人动力学的准确建模，在非结构化或快速变化的场景中不够灵活。模仿学习和深度强化学习能在不做显式建模的前提下处理复杂任务，但每个任务都要大量领域数据，换到没见过的场景就容易失效。基础模型——特别是 LLM 和 VLM——在感知、推理和决策上展示了新的可能，可它们在全局路径规划中的实际可用性和效果，此前基本没有被系统验证过。这份资料要回答的正是这个问题。

作者的路线不是直接抛出一个规划器，而是先搭评测、再选型、再集成、最后实飞。他们用标准化仿真场景系统评估了 8 个代表性 LLM 和 5 个代表性 VLM，做横向比较；随后从基准里挑出表现最好的 Llama-3.1-8B-Instruct，用从代表性无人机飞行中收集的轨迹做微调；再把微调后的模型与一个通用视觉编码器结合，构成 LLM-Vision 规划器，用于实时障碍感知和路径生成；最后在多种配置下做真实无人机飞行实验。整条链条是“基准评测—模型选型—领域微调—视觉集成—实飞验证”，数据和结论分别来自仿真对比与真实飞行两部分。

材料给出的量化信息集中在评测规模上：8 个 LLM、5 个 VLM，以及被选中的 Llama-3.1-8B-Instruct。作者强调这是据他们所知首个针对无人机路径规划、跨多个基础模型的全面基准测试，并在多样仿真场景中系统评估表现。这个“首次”的定位值得注意——它意味着此前缺少可横向比较的公共参照；如果读者关心某个具体模型在这类任务上的排名，材料本身没有展开各项指标，只能回到原文去看。从定性结论看，作者认为基础模型的价值在于高层空间推理和多模态提示解读，这与 IL/DRL 偏反应式控制或环境感知的路线不同。

与先前工作的差别也在这里。已有的 LEVIOSA 能把自然语言指令转成无人机航点，但只做局部推理，既没有跨多样场景的系统评估，也没有和实时感知打通。FM-Planner 的做法是把视觉编码器识别出的障碍位置连同提示一起送进 LLM，让模型在感知输入的基础上给出规划；作者称已在真实飞行场景中部署并验证了 LLM-Vision 规划器的有效性，且实验覆盖多种配置。换句话说，这套链路不只是仿真里的开环推理，而是包含了从感知到规划的实时闭环。

这些结论意味着什么？我的解读是：基础模型在无人机路径规划中的现实角色，更可能是“高层语义推理层”，负责理解任务、解读多模态输入、给出全局层面的路径意图，而不是取代底层的轨迹优化与控制。基准测试提供的是选型依据，微调说明通用模型可以用领域轨迹做适配，LLM-Vision 的实飞则说明感知—规划链路在工程上跑得通。对做实际系统的团队来说，这三点合起来提示了一条可操作的顺序：先用小规模标准化场景筛模型，再用自己的飞行数据微调，最后把视觉感知接进来做闭环验证。

适合读这份资料的，大致是做无人机自主导航、机器人基础模型应用，或者需要为规划任务做模型选型的同行。读完能拿走的是一套问题框架和方法链条：为什么传统方法和学习型方法在这个问题上都不够、基础模型能补哪一块、怎么用基准和实飞把“能不能用”变成“在什么条件下可用”，以及一个公开的项目站点作为进一步复现的入口。边界也要说清楚：给定材料没有给出成功率、路径长度、推理延迟这类具体性能数字，仿真场景设置、微调所用轨迹规模、实飞配置数量与评价指标都没有展开，所谓“全面基准”的具体结论需要回到原文核对；此外，讨论范围是全局路径规划，底层控制并不在其中。

arXiv:2505.20783v1 [cs.RO] 27 May 2025 FM-Planner: Foundation Model Guided Path Planning for Autonomous Drone Navigation Jiaping Xiao, Cheng Wen Tsao, Yuhang Zhang and Mir Feroskhan, Member, IEEE Abstract—Path planning is a critical component in autonomous drone operations, enabling safe and efficient navigation through complex environments. Recent advances in foundation models, particularly large language models (LLMs) and vision-language models (VLMs), have opened new opportunities for enhanced perception and intelligent decision-making in robotics. However, their practical applicability and effectiveness in global path planning remain relatively unexplored. This paper proposes foun- dation model-guided path planners (FM-Planner) and presents a comprehensive benchmarking study and practical validation for drone path planning. Specifically, we first systematically