端到端自动驾驶的挑战与前沿

这份综述要回答的是：端到端自动驾驶究竟指什么，它相对于传统模块化管线解决了什么问题，又卡在哪些地方。作者把端到端系统定义为以原始传感器输入产生规划或底层控制输出的全可微程序，并围绕动机、路线图、方法、挑战和未来趋势展开梳理。领域快速增长的背景在材料里写得很具体：大规模数据集、闭环评估，以及自动驾驶算法在困难场景中有效工作的需求，共同推动了这一方向。编辑信息标注的被引次数为668次，说明它在社区里已经获得相当关注；换句话说，现在读它，更像是在看一张被频繁引用的领域地图，而不是一篇孤立的技术方案。

覆盖范围上，这份综述分析了270多篇论文，把方法大致归入imitation learning和reinforcement learning两条路线，并回顾了这两类方法的做法。评估部分同时覆盖closed-loop和open-loop两类benchmark，也讨论闭环仿真的不同方面以及开环评估在此问题上的局限。除了方法本身，它还专门谈到foundation models和visual pre-training的近期进展，以及如何把这些技术放进端到端驾驶框架。作者还维护一个GitHub仓库，持续收集最新文献和开源项目；这意味着它不只是静态综述，也带有一个可追踪的文献入口。

关键对比在模块化管线和端到端系统之间。传统管线里，感知、预测、规划各自独立开发再集成，规划常依赖复杂的规则设计；材料指出，规则方法很难覆盖道路上大量出现的情况，因此用大规模数据和基于学习的规划作为替代的趋势在增强。模块化设计的好处是可解释、易调试，但各模块优化目标并不一致，检测追求mAP，规划追求安全与舒适，整个系统未必对齐到最终的规划/控制目标。随着顺序流程推进，各模块误差可能累积并造成信息损失；多任务、多模型部署还涉及多个编码器和消息传输系统，可能增加计算负担，并导致算力使用不够理想。

端到端的核心卖点因此落在联合特征优化上：与模块化管线相比，它让感知和规划在同一个优化过程中共享特征，而不是把边界框、轨迹等中间结果逐级传递。材料里的领域繁荣原因和挑战清单同样值得注意：大规模数据集、闭环评估和困难场景需求推动了研究，但多模态、可解释性、因果混淆、鲁棒性和world models等仍是关键难题。这里有一个容易被忽略的判断：端到端并不是把模块简单拼成一个网络，它改变的是优化目标和误差传播路径；换句话说，评估方式也必须跟着变，开环指标很难完整回答闭环驾驶中的问题。

这些结论对实践的含义，可以分两层看。第一层是系统设计：如果团队从模块化管线转向端到端，需要把“联合优化”当作核心，而不是只替换某个感知模型；同时要正视多模型部署的计算代价和模块目标不一致带来的对齐问题。第二层是评估与验证：材料强调闭环评估的重要性，并指出开环评估的局限，这意味着只看离线检测或预测指标，可能无法说明端到端系统在真实驾驶中的表现。可解释性、因果混淆和鲁棒性被列为挑战，也说明端到端系统要落地，不能只靠端到端指标好看，还需要能解释、能排查、能在困难场景中保持稳定。world models和foundation models被作者放进前沿讨论，我的解读是：它们被视为补足数据效率和场景泛化的可能工具，而不是现成答案。

这份资料适合做自动驾驶感知、规划、学习与评测的研究者和工程师读，也适合需要快速了解端到端路线版图的人。读完可以拿走几样东西：一个明确的全可微定义，一套imitation learning与reinforcement learning的方法分类，closed-loop与open-loop的评估框架，以及多模态、可解释性、因果混淆、鲁棒性、world models等挑战清单；仓库还能作为后续文献入口。边界也要说清楚：作者明确说综述主要从理论视角展开，版本控制、单元测试、数据服务器、数据清洗、软硬件协同设计等工程工作对部署很关键，但公开信息有限，综述没有展开。它也不提供具体工程配方；开环评估的局限和闭环仿真的不足仍需读者结合自己的系统判断。作者邀请社区在这些话题上更开放地讨论，这本身也提示了资料覆盖的边界。

End-to-end Autonomous Driving: Challenges and Frontiers Li Chen, Penghao Wu, Kashyap Chitta, Bernhard Jaeger, Andreas Geiger and Hongyang Li Abstract—The autonomous driving community has witnessed a rapid growth in approaches that embrace an end-to-end algorithm framework, utilizing raw sensor input to generate vehicle motion plans, instead of concentrating on individual tasks such as detection and motion prediction. End-to-end systems, in comparison to modular pipelines, benefit from joint feature optimization for perception and planning. This field has flourished due to the availability of large-scale datasets, closed-loop evaluation, and the increasing need for autonomous driving algorithms to perform effectively in challenging scenarios. In this survey, we provide a comprehensive analysis