Hotdry.

Article

深入剖析nano-vLLM推理引擎架构：PagedAttention内存管理实现

从操作系统分页机制汲取灵感，解析vLLM核心创新PagedAttention如何通过块级内存管理消除KV缓存碎片，实现10-23倍吞吐量提升。

2026-02-02ai-systems

在大型语言模型（LLM）推理服务从实验室走向生产环境的关键转折点上，内存管理已取代计算能力成为首要瓶颈。传统推理系统为每个请求预分配最大序列长度的 KV（Key-Value）缓存，导致高达 60-80% 的内存被闲置，GPU 利用率长期徘徊在 30-40%。这种 “按最大可能分配” 的粗放模式，如同为每位顾客预订整个餐厅，无论他们只点一杯咖啡还是举办宴会。

vLLM 团队从操作系统虚拟内存管理中汲取灵感，提出了革命性的PagedAttention机制。该机制的核心洞察在于：LLM 推理中的内存浪费本质上是外部碎片问题—— 不同请求的序列长度差异巨大，连续分配策略必然在内存中留下无法利用的 “空洞”。

PagedAttention：操作系统的内存智慧

PagedAttention 将 KV 缓存划分为固定大小的内存块，每个块容纳固定数量的 token（通常为 16 个）。这一设计与操作系统将虚拟内存划分为 4KB 页面的思路如出一辙。当序列需要扩展时，系统不是重新分配更大连续空间，而是简单地分配一个新的块，并通过块映射表将逻辑序列位置映射到物理块地址。

在 nano-vllm 的教学实现中，BlockManager类承担了这一核心职责。它维护着两个关键数据结构：

  1. 空闲块列表：跟踪所有可用的物理块
  2. 块分配表：记录每个序列的逻辑块到物理块的映射关系

当新请求到达时，调度器首先向 BlockManager 申请初始块；随着生成过程推进，每当当前块被填满，系统便从空闲列表中分配新块，并更新映射表。这种按需分配的策略彻底消除了预分配造成的浪费。

块大小选择的工程权衡

固定块大小的选择是性能与灵活性的平衡点。根据开源文档分析，16 个 token 的块大小是经过实证的优化值：

  • 过小（如 4 个 token）：映射表开销增大，内存管理元数据占比过高
  • 过大（如 64 个 token）：内部碎片增加，短序列仍会浪费块内空间
  • 16 个 token：在典型 128K 上下文模型中，块数量可控（8192 块），同时保持良好利用率

生产部署中，这一参数应根据模型架构和典型工作负载进行调优。对于主要处理短对话的场景，可适当减小块大小；对于长文档分析任务，则可增大块尺寸以减少映射开销。

连续批处理与内存管理的协同

PagedAttention 的真正威力在与连续批处理结合时完全释放。传统静态批处理要求所有请求具有相同序列长度，而连续批处理允许不同阶段的请求共存于同一批次。

内存管理系统为此提供关键支持：

  1. 异构序列支持：不同请求可占用不同数量的块，互不干扰
  2. 动态回收机制：请求完成后立即释放其占用的所有块，返回空闲列表
  3. 碎片整理：通过块重映射实现 “内存压缩”，但需谨慎权衡迁移开销

vLLM 官方博客指出，这种协同设计带来了10-23 倍的吞吐量提升，将 GPU 利用率推升至 70-90% 的区间。

可落地配置参数

基于 nano-vllm 的参考实现和社区经验，以下配置参数可供生产环境参考：

# 内存管理配置
memory:
  block_size: 16          # 每个块容纳的token数
  prealloc_blocks: 1024   # 启动时预分配的块数，减少运行时分配延迟
  max_blocks_per_seq: 512 # 单个序列最大块数限制，防止内存耗尽
  
# 调度器配置
scheduler:
  max_batch_size: 32      # 最大批处理大小
  prefill_chunk_size: 256 # 预填充阶段分块大小，平衡延迟与吞吐
  timeout_ms: 5000        # 请求超时时间

监控与调优要点

部署基于 PagedAttention 的推理服务后，应重点关注以下监控指标：

  1. 块利用率：已分配块数 / 总块数，目标维持在 70-85%
  2. 内部碎片率：块内未使用 token 比例，反映块大小是否匹配工作负载
  3. 分配延迟 P99：块分配操作的第 99 百分位延迟，应低于 1ms
  4. 映射表内存开销：块映射数据结构占用的内存比例，通常应低于总 KV 缓存的 1%

当内部碎片率持续高于 20% 时，应考虑调整块大小；当分配延迟 P99 超过阈值时，可增加预分配块数或优化分配算法。

架构局限与演进方向

尽管 PagedAttention 解决了内存碎片的核心问题，教学实现 nano-vllm 仍揭示了生产级系统的复杂性差距。真实 vLLM 包含数万行 C++/CUDA 代码，实现了：

  • CUDA Graph 优化：将多个内核调用编译为单一可执行图，减少启动开销
  • 张量并行支持：多 GPU 间的块级数据分布与同步
  • 前缀缓存共享：多个请求共享相同提示前缀的 KV 缓存

这些高级特性在简化版实现中被有意省略，以保持代码的教学清晰度。正如构建 nano-vllm 的开发者所言，这是 “为真正理解底层原理而构建的 vLLM”。

结语：从内存管理到系统思维

PagedAttention 的成功不仅在于技术创新，更在于其展示的系统思维—— 将高层应用问题（LLM 推理）映射到底层系统原理（内存管理），再通过工程实现完成闭环。在 AI 基础设施日益复杂的今天，这种跨层优化能力正成为核心竞争力。

对于计划部署 LLM 推理服务的团队，深入理解 PagedAttention 的实现细节不再是可选项。它决定了你能否在同等硬件上服务更多用户，能否将推理成本控制在商业可行的范围内，最终决定了 AI 应用能否从演示原型走向规模化服务。

资料来源：

  1. “Building a Mini vLLM from Scratch: A Deep Dive into LLM Inference Optimization” (nano-vllm 项目文档)
  2. “Inside vLLM: Anatomy of a High-Throughput LLM Inference System” (vLLM 官方博客，2025 年 9 月 5 日)

ai-systems