vLLM：面向大语言模型的高效推理引擎

大语言模型已经能写复杂的软件系统、发现新算法、处理多模态数据，但要把这些能力真正跑起来，代价极高。这份资料要回答的是：在模型规模、架构和硬件都在快速变化的前提下，如何设计一个既高效又足够灵活的开源推理引擎。它值得现在看，是因为 vLLM 在这里不只被当作一个研究原型，还被当作一套完整系统来拆解：从内存管理算法到调度策略，每一步都交代了设计取舍。

论文的组织方式很能说明它的取径：先在第 2 章刻画高效推理的挑战，包括自回归生成与 KV cache、Mixture-of-Experts 模型、延迟约束以及趋势判断；第 3 章专讲 PagedAttention，从 LLM 服务中的内存挑战一路写到方法、实现、评估、消融研究和相关工作；第 4 章展开 vLLM 的系统设计，涵盖对外接口、模型编写、推理优化、调度策略与 CPU 开销。这是典型的系统类博士论文写法：先定位瓶颈，再给机制，最后用评估与消融验证。作者是 UC Berkeley 计算机科学的博士候选人，导师 Ion Stoica，委员会还包括 Joseph E. Gonzalez、Scott Shenker 和 Hao Zhang，这个组合本身就带着系统与机器学习交叉的视角。

论文对困难的描述给出了具体量级：当前最先进的模型包含万亿级参数，一次任务要执行数万步生成，这些计算分布在大规模 GPU 集群上，且常常受严格延迟约束。压力还不止于此，模型架构的快速演进和硬件加速器的日益多样，会进一步放大上述问题。换句话说，这不是一个靠堆算力就能解决的局面，第 2 章把这些压力拆成内存、稀疏结构、延迟和趋势几股分别讨论，本身就暗示瓶颈分布在多个层面。

技术上，论文把 PagedAttention 定位为 vLLM 的核心内存管理算法，正是它支撑了高吞吐的 LLM 推理。在此之上，第 4 章讨论的调度机制和可扩展架构解决的是另一个问题：当模型架构与硬件后端不断变化时，引擎如何不必推倒重来。作者把这两部分合起来视为一个综合方案，强调它同时具备高性能、架构灵活性和一个快速成长的开源生态。

对实践者来说，最可直接借用的是它的分析顺序：先看内存管理，再看调度与 CPU 开销，而不是一上来就谈算子优化。论文的结论是，有原则的系统设计能够弥合现代 LLM 的加速演进与大规模真实部署约束之间不断扩大的差距；这意味着它的价值不止于一个具体算法，更在于示范了如何把结构性瓶颈转化为可实现的系统抽象。

做推理服务、推理框架或 GPU 内存管理的人，以及关心系统研究如何落地为开源项目的读者，都能从中拿到东西：PagedAttention 的设计动机与实现路径、调度与优化的取舍清单，以及一套拆解推理瓶颈的思路。边界也需要说明：手头材料的正文只到第 4 章的 CPU 开销一节，摘要与目录中并未给出具体的吞吐或延迟提升数字，若要引用量化结论，需要回到论文正文的评估章节核对。

vLLM: An Efficient Inference Engine for Large Language Models by Woosuk Kwon A dissertation submitted in partial satisfaction of the requirements for the degree of Doctor of Philosophy in Computer Science in the Graduate Division of the University of California, Berkeley Committee in charge: Professor Ion Stoica, Chair Professor Joseph E. Gonzalez Professor Scott Shenker Professor Hao Zhang Fall 2025 vLLM: An Efficient Inference Engine for Large Language Models Copyright 2025 by Woosuk Kwon