DriveGPT4：基于大语言模型的可解释端到端自动驾驶

端到端自动驾驶把感知、规划、控制放进一个网络，用车上传感器数据直接预测规划路径或低级控制信号，省去不连续的中间步骤。代价是这个系统变成了黑箱：人无法理解也解释不了它做出的决定，由此产生的伦理与法律问题会限制商业化落地。这份资料要回答的正是这个矛盾——能不能让端到端系统一边开车，一边用自然语言说清自己在做什么、为什么这样做。它现在值得看，是因为过去这类工作多依赖 BERT、GPT 一类小语言模型，模型容量不足，只能对预设问题给出刻板回答，问答表现不理想；多模态大语言模型的出现改变了这个前提。

DriveGPT4 的输入是一段由前视单目 RGB 摄像头拍摄的视频序列，输出是下一步的控制信号，即车速和转向角。在预测控制的同时，它能与用户对话，用自然语言描述车辆动作、解释行为背后的推理，并回应多种用户提问。支撑这些能力的是两样东西：一份专门为自动驾驶定制的视觉指令微调数据集，以及一种 mix-finetuning 训练策略。按作者说明，数据集参照 LLaVA 的做法、借助 ChatGPT 在 BDD-X 数据集基础上构建。系统名里的「4」指多模态，用法与 MiniGPT4 类似。

按作者的归纳，这份工作的位置在于「第一次」：据其所知，此前没有论文把大语言模型用于可解释的端到端自动驾驶。DriveGPT4 同时处理多模态输入并生成两类输出——文本回答与低级控制信号，两者出自同一个经 mix-finetuning 的模型。它的目标不止是回答预设问题，还要应对用户自由提出的多样化问题。作者把这一能力归因于大语言模型本身携带的广泛世界知识与推理能力。

评估在 BDD-X 数据集上开展，作者称 DriveGPT4 在定性和定量两方面都取得更优表现。另一个值得留意的结论与微调有关：在领域特定数据上微调之后，DriveGPT4 在自动驾驶 grounding 上的结果与 GPT4-V 相比接近，甚至有所改善。这里需要说明，材料只给出这类定性判断，没有列出任何评测指标的具体数值，因此无法从这份资料读出性能提升了多少、在哪些细项上领先。换句话说，结论的方向是清楚的，幅度是未知的。

这意味着，可解释性不必再作为端到端系统之外的事后补充，语言解释和控制信号可以从同一个模型里产生。作者的判断是，大语言模型自带的世界知识与推理能力，既有望改善文本预测，也有望更好地分析和生成低级车辆控制。另一层解读是：通用多模态大模型 GPT4-V 在这里并没有压过用它所在领域数据微调过的模型，说明针对自动驾驶场景构造指令微调数据这件事本身仍有价值，而用 ChatGPT 批量构造这类数据是一条可以复用的路径。对做可解释驾驶或多模态模型落地的人来说，这套「数据集 + 混合微调」的组合比单点指标更有参考意义。

想了解多模态大模型如何接入自动驾驶决策回路的人，可以从这份资料里拿到一个清晰的问题设定、一套数据构建思路和一组对比结论。读完能带走的是方法框架与作者给出的判断，而不是可复现的性能数字。边界也需要说清楚：评估只覆盖 BDD-X 一个数据集，输入限定为前视单目 RGB 视频，材料中没有涉及实车部署、安全性验证或其他数据集上的表现；至于模型给出的解释是否忠实反映其真实决策过程，这份资料同样没有回答。

IEEE ROBOTICS AND AUTOMATION LETTERS. PREPRINT VERSION. ACCEPTED JULY , 2024 1 DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model Zhenhua Xu, Yujia Zhang, Enze Xie*, Zhen Zhao, Yong Guo, Kwan-Yee K. Wong, Zhenguo Li, Hengshuang Zhao* Abstract—Multimodal large language models (MLLMs) have emerged as a prominent area of interest within the research community, given their proficiency in handling and reasoning with non-textual data, including images and videos. This study seeks to extend the application of MLLMs to the realm of autonomous driving by introducing DriveGPT4, a novel interpretable end- to-end autonomous driving system based on LLMs. Capable of processing multi-frame video inputs and textual queries, DriveGPT4 facilitates the interpretation of vehicle actions, offers pertinent reasoning, and effectively addresses a diverse range