NaVILA面向导航的腿式机器人视觉语言动作模型

这份资料围绕腿式机器人视觉语言导航（VLN）展开：机器人要在没有给定地图的陌生环境里按人类语言指令行走，而难点在于把语言指令一路落到低层腿关节动作。材料给出的判断是，这一转换并不简单（non-trivial）。在LLM与VLM推动下，端到端VLA系统开始把推理与执行放进一个模型，但把语言推理转成精确的非语言动作仍有挑战，NaVILA因此提出另一种动作表示。材料标注该工作被引65次，可以解读为这一方向在机器人导航与具身智能交叉处受到关注。

NaVILA的做法是两级框架：一级是Vision-Language-Action模型，另一级是locomotion skills。VLA不直接输出低层动作，而是先生成带空间信息的中层动作，并且用语言形式表达，例如“moving forward 75cm”；这个中层指令再交给视觉locomotion RL策略执行。训练VLA时，材料提到整合历史上下文与当前观测、设计面向VLN的导航prompt、使用YouTube人类游览视频，以及精心配比的数据集混合。低层部分采用单阶段方法学习基于视觉的locomotion策略，从原始LiDAR点云构建高度图，并用随机化缩小sim-to-real差距。控制器把VLA输出转成命令速度，再通过控制关节位置跟踪速度。

这套设计的关键在于动作表示。材料给出三点优势：其一，把低层执行与VLA解耦后，同一个VLA可以通过替换低层策略应用到不同机器人；其二，把动作表示成中层语言指令，使VLA能利用包括真实人类视频和推理问答任务在内的多样数据源，而不至于过拟合到特定低层命令；其三，系统运行在两个时间尺度上，VLA通常是大而计算密集的模型，以较低频率给出高层导航命令，locomotion策略则实时运行。换句话说，推理与执行被拆成不同频率、不同职责的模块。

实验方面，材料称NaVILA在现有benchmarks上明显优于此前方法，同样的优势也在新开发的IsaacLab benchmarks中得到展示，后者包含更真实场景、低层控制和真实机器人实验。真实世界演示覆盖家庭、户外和工作空间：机器人能穿过狭窄通道的杂乱实验室、在房屋中房间到房间移动，也能应对带小石块、洞和沟槽的不平地形。材料还强调，这是首个展示直接训练人类视频可改善连续环境导航的工作。部署环境包括强阳光和靠近透明表面等挑战条件。

这些结论意味着，对腿式机器人VLN来说，动作表示的选择可能和模型规模同样重要。把动作压到低层关节命令，会让VLM难以发挥其语言与空间推理优势；改成带距离和方向的中层语言指令，既保留了可解释的接口，也让低层策略专注避障与实时控制。实践上，这种解耦便于跨机器人复用VLA，也便于把人类视频等异构数据纳入训练；但代价是系统性能依赖低层locomotion策略和高度图构建质量，VLA给出的中层指令仍需被稳定跟踪。材料中的真实场景演示说明这一路线在长时程、复杂地形上可行，但并未给出各benchmark的具体提升幅度。

适合读这份资料的人，包括做机器人导航、VLA、腿式机器人控制与具身智能系统集成的研究者与工程团队。读完可以拿走一个清晰的两级架构：VLA输出中层语言动作，视觉locomotion RL策略负责执行；以及一套训练思路，包括历史观测、导航prompt、人类视频和数据集混合，还有用LiDAR高度图与随机化做sim-to-real。需要留意的边界是，材料以摘要和正文节选为主，没有展开各benchmark的具体数值、消融实验、失败案例与安全边界；被引65次也只是材料标注的关注度信号，不能替代对方法和实验细节的核查。

NaVILA: Legged Robot Vision-Language-Action Model for Navigation An-Chieh Cheng 1,∗ Yandong Ji1,∗ Zhaojing Yang2,∗ Zaitian Gongye 1 Xueyan Zou 1 Jan Kautz 3 Erdem Bıyık 2 Hongxu Yin3,† Sifei Liu 3,† Xiaolong Wang1,3,† 1UC San Diego 2USC 3NVIDIA https://navila-bot.github.io Move forward out of the room. Turn right at the end. Proceed to the grass and stop in front of the soccers. Walk forward along the way. Turn a little left and keep going straight. Stop in front of the red door. Turn left immediately. Go straight forward. Step on the mat. Keep going forward. Stop when you are very close to the trash can. Move forward along the way. Turn left at the yellow fire hydrant. Go forward along the slope and stop in front of the door. Walk forward, when seeing the stair bars, turn right and walk around the stairs until reaching the hallway.