vLLM GPU显存池化与碎片整理：Block Allocator的并发安全设计

在大规模 LLM 推理服务中，GPU 显存管理是决定系统吞吐量的关键瓶颈。vLLM 通过 PagedAttention 机制将 KV Cache 从传统的连续内存分配模式转变为基于 block 的离散化管理，这一设计虽然提升了内存利用率，但也引入了显存碎片化的新挑战。本文将深入剖析 vLLM 中 GPU 显存池化的核心实现 ——Block Allocator，重点探讨其碎片整理策略与并发安全机制。

PagedAttention 与显存池化架构

vLLM 的核心创新在于将 KV Cache 划分为固定大小的 block（默认每个 block 存储 16 个 token 的 key/value 向量）。这种设计借鉴了操作系统虚拟内存的思想：每个 sequence 通过 block table 映射到非连续的物理 block，从而支持动态扩缩容而无需预先分配最大可能长度。

Block Allocator 作为显存池化的中央管理器，维护着空闲 block 池、已分配 block 映射以及 block 引用计数。当新的推理请求到达时，Allocator 从空闲池中分配 block；当 sequence 完成或 token 被逐出时，对应的 block 被回收至空闲池。这种池化设计使得不同 sequence 可以共享物理 block（通过 copy-on-write 机制实现 prefix caching），显著降低了显存冗余。

碎片化的产生机制

尽管 block-based 设计提升了灵活性，但动态的请求生命周期会导致显存碎片化问题。具体表现为：随着高优先级请求抢占资源、低优先级请求被抢占、以及长短 sequence 的交错执行，空闲 block 在物理显存空间中呈离散分布。

当系统需要为新的长 sequence 分配大量连续 block 时（实际上 vLLM 的 block table 允许非连续映射，但某些优化操作如 kernel fusion 仍倾向于连续内存），或者当 GPU 显存接近饱和时，碎片问题会直接影响系统的最大并发能力。更严重的是，碎片会导致显存利用率下降 —— 虽然统计上存在足够空闲 block，但无法满足特定请求的连续分配需求。

碎片整理策略实现

vLLM 的碎片整理主要通过两种机制协同完成：

Block Swapping是 vLLM 在 CPU 与 GPU 之间迁移 KV Cache 的核心机制。当 GPU 显存不足时，调度器将部分 sequence 的 block 从 GPU 显存 swap 到 CPU 内存；当这些 sequence 重新被调度时，再将其 swap 回 GPU。这一过程天然具有整理效果：被 swap 的 block 在 GPU 侧被释放，后续重新加载时可以占据更紧凑的物理位置。

Block Copying则是更主动的整理手段。调度器可以触发 block 复制操作，将分散的 block 在物理显存中重新排列为更紧凑的布局。这一操作通过 CUDA 内存拷贝完成，虽然会消耗一定的计算资源，但可以显著改善后续分配的效率。

碎片整理的触发策略通常与调度器协同工作。vLLM 的调度器在每次迭代前评估显存状态，当检测到碎片率超过阈值或连续分配失败风险升高时，会触发整理流程。整理操作与推理计算流水线化执行，以最小化对延迟敏感型请求的影响。

并发安全与锁机制

Block Allocator 在多线程环境下的并发安全是其设计的核心难点。vLLM 采用分层锁策略：

Allocator 级别锁保护空闲 block 池、block 元数据表等核心数据结构。由于分配和回收操作频繁，vLLM 使用细粒度锁或读写锁来减少竞争。在热点路径上，Allocator 会预先批量获取 block 以减少锁持有时间。

Sequence 级别一致性通过 block 引用计数和 copy-on-write 机制保证。当多个 sequence 共享同一 block（如 prefix caching 场景）时，写操作会触发 block 复制，确保读操作的无锁并发访问。

调度器 - 执行器同步是另一个关键点。调度器决定哪些 block 需要 swap 或 copy，执行器（worker）实际执行 CUDA 操作。两者通过队列和信号量协调，确保内存操作与计算 kernel 的正确时序。

在高并发场景下，锁竞争可能成为性能瓶颈。vLLM 通过以下策略优化：将 Allocator 操作批量化、采用 lock-free 数据结构管理空闲列表、以及允许一定程度的乐观并发（通过版本号检测冲突后重试）。

内存复用与 Prefix Caching

Block Allocator 的另一重要特性是支持 prefix caching。当多个 sequence 共享相同的前缀 token 时，它们的 KV Cache 可以共享物理 block。Allocator 通过维护 block 内容的哈希索引，快速识别可复用的 block。这一机制不仅节省显存，还减少了重复计算。

在 prefix caching 场景下，copy-on-write 机制确保了写隔离：当某个 sequence 需要修改共享 block 时，Allocator 为其分配新的物理 block 并复制数据。这一设计在读多写少的推理场景中表现优异，但需要仔细管理引用计数以避免内存泄漏。

工程实践建议

基于 vLLM Block Allocator 的设计，在实际部署中可采取以下策略：

1. Block size 调优：默认 16 tokens/block 适用于大多数场景，但对于短 sequence 为主的负载，可适当减小 block size 以减少内部碎片；对于长 sequence 负载，增大 block size 可降低 block table 的管理开销。

2. Swap 空间配置：合理配置 CPU swap 空间大小，确保在高负载时能够平滑地进行 block 迁移。建议 swap 空间至少为 GPU 显存的 50%。

3. 调度策略选择：vLLM 提供多种调度策略（FIFO、优先级调度等），选择与业务特征匹配的策略可以减少碎片产生。例如，对于延迟敏感型服务，避免频繁的抢占和恢复操作。

4. 监控指标：关注gpu_cache_usage和num_blocks相关指标，当空闲 block 数量波动剧烈或碎片率持续升高时，考虑调整 batch size 或触发主动整理。

总结

vLLM 的 Block Allocator 通过 PagedAttention 机制实现了高效的 GPU 显存池化管理，其碎片整理策略（block swapping 与 copying）与并发安全设计（分层锁与 copy-on-write）共同支撑了高吞吐、低延迟的大模型推理服务。理解这些底层机制，有助于在实际部署中针对性地优化显存配置与调度策略，充分发挥硬件资源的潜力。

参考来源

• vLLM Project Documentation: PagedAttention Design
• vLLM GitHub Repository: core/block/block_allocator.py

ai-systems