在长上下文大语言模型推理场景中，KV 缓存的内存占用已经成为制约系统吞吐量和延迟的关键瓶颈。当模型上下文窗口从 8K 扩展到 128K 甚至更长时，单个请求的 KV 缓存可能消耗数十 GB 的显存，而并发请求的累积效应使得这一问题更加严峻。在 nano-vLLM 这类轻量级推理框架中，如何在有限的 GPU 显存约束下高效管理 KV 缓存，成为工程实现的核心挑战。本文将从块驱逐策略与压缩算法两个维度，深入剖析内存受限场景下的优化工程实践。
KV 缓存内存瓶颈的本质
理解 KV 缓存的管理问题，首先需要明确其内存消耗的结构性特征。在 Transformer 架构中，每个注意力层都会为每个输入 token 生成对应的 Key 和 Value 向量，这些向量组成的矩阵即为 KV 缓存。设批量大小为 $b$，层数为 $l$，序列长度为 $s$，注意力头数为 $h$，每头维度为 $c$，精度为 $p$，则单个请求的 KV 缓存大小约为 $2 \times b \times l \times s \times h \times c \times p$。以 Llama-3-8B 为例，在 FP16 精度下，一个 32K 序列长度的请求就需要约 16GB 的 KV 缓存空间，而 128K 上下文则接近 64GB。
面对这一挑战，业界主要形成了两条技术路线：其一是 KV 缓存驱逐（Eviction），即将不常用的 KV 缓存从 GPU 显存迁移至 CPU 内存或 SSD 等更低层级的存储设备；其二是 KV 缓存压缩（Compression），通过量化、剪枝或合并等手段减少单个 KV 缓存条目的大小。然而，传统的驱逐与压缩策略往往独立设计，未能充分考虑两者之间的协同效应，导致在质量与延迟之间存在较大的优化空间。
块级驱逐的工程设计
在 nano-vLLM 的内存管理模块中，块级驱逐策略的核心在于以多大的粒度来评估和淘汰 KV 缓存条目。词元级驱逐虽然提供了最细粒度的控制能力，但高频的元数据更新会带来显著的计算开销，且容易破坏语义完整性。相比之下，块级驱逐通过将连续若干个词元划分为一个处理单元，在保留语义局部性的同时降低了管理复杂度。
然而，固定块大小的设计面临语义碎片化的困境。研究表明，当块大小为 7 时，平均有 21.65% 的块会跨越多个语义单元，导致压缩后的 KV 缓存包含大量不相关信息。更严重的是，固定块策略在面对信息密度不均匀的长文档时效率低下：某些包含关键信息的短块被完整保留，而某些冗余的长块则被迫保留大量低价值词元，造成显著的内存浪费。
针对这一问题，语义感知块驱逐策略引入了基于自然语言边界的分割机制。实践表明，采用标点符号（如句号、逗号）作为轻量级语义边界的检测依据，可以在保持分割效率的同时确保语义连贯性。分割后的语义段成为驱逐决策的基本单元，避免了传统固定块策略中语义单元被强行割裂的问题。
联合压缩与驱逐的效用优化
EvicPress 系统提供了一个极具参考价值的工程范例，它在 nano-vLLM 框架基础上实现了压缩与驱逐的统一优化。其核心设计是一个效用函数（Utility Function），用于量化每种压缩 - 驱逐配置对生成质量与加载延迟的综合影响。
该效用函数的形式为 $\mathrm {Util}(\text {method}, \text {ratio}, \text {device}) = (\alpha \cdot \text {quality} - \text {TTFT}) \cdot \text {frequency}$，其中 $\alpha$ 是质量与延迟之间的权衡参数，frequency 反映该上下文被访问的频率。通过周期性分析每个上下文在不同压缩方法和驱逐目标设备下的表现，系统能够为每个 KV 缓存块动态选择最优的配置组合。
这种设计的工程价值在于它打破了压缩与驱逐之间的决策壁垒。传统方案往往先确定压缩率，再决定是否驱逐；而 EvicPress 则将两者纳入统一的优化框架，根据不同上下文的压缩敏感度差异进行差异化处理。实验数据显示，该方法在保持相同生成质量的前提下，首 token 生成时间（TTFT）可降低 1.43 至 3.77 倍，或在相同延迟下将质量分数提升 13.58% 至 55.40%。
自适应块大小的预算驱动搜索
SABlock 系统进一步深化了块级管理的思路，提出了预算驱动的自适应块大小搜索机制。其核心洞察在于：最优的块大小并非固定不变，而是取决于可用的缓存预算 —— 预算充裕时应使用较大块以提升压缩效率，预算紧张时则应使用较小块以保留更多细节。
具体而言，该机制首先通过全局 Top-B 选择确定所有需要保留的词元，然后根据每个语义段在全局选择中占据的词元数量隐式分配局部预算。在每个段内部，系统从候选块大小集合中自顶向下搜索，选择能够满足语义保真度阈值（通常设为 0.85）的最大块大小。这种自适应的块大小选择使得系统在极端受限的预算下（仅保留 96 个 KV 条目）仍能在 NIAH 任务上达到 99.9% 的检索准确率，显著优于固定块大小的基线方法。
值得注意的是，这种自适应机制的工程实现需要平衡搜索复杂度与决策质量。SABlock 通过限制候选块大小集合（如 ${1, 2, 3, 5, 7, 9, 11, 13}$）来控制搜索空间，同时确保相邻候选值之间存在足够的覆盖效率差异。实验表明，块大小与缓存预算之间呈现正相关关系：预算增加时，系统自然倾向于使用更大的块以提升压缩比。
工程落地的关键参数
在将上述理论转化为工程实践时，有若干关键参数需要谨慎配置。首先是语义保真度阈值 $\tau$，它决定了块大小搜索过程中的质量容限。经验表明，$\tau \in [0.80, 0.90]$ 是较为稳健的取值范围，过低会导致语义信息丢失，过高则会限制压缩效率。
其次是段引导评分中的权重参数 $\alpha$ 和 $\eta$。$\alpha$ 控制段级重要性对词元评分的影响程度，建议初始值设为 0.9；$\eta$ 则用于平衡段内重要性与多样性，设为 1.0 是一个良好的起点。敏感性分析表明，系统性能在这两个参数的较宽取值范围内保持稳定，这为工程调试提供了较大的容错空间。
最后是观察窗口大小 $n_{\text {rcnt}}$，它决定了用于评估词元重要性的最近 token 数量。保留最近的 8 个 token 可以有效维持提示稳定性与对话连贯性，同时不会显著增加计算开销。
监控与回滚策略
生产环境中的 KV 缓存管理还需要完善的监控与回滚机制。核心监控指标包括：各级存储设备的缓存命中率、压缩率分布、段级语义保真度以及端到端延迟分布。当在线服务质量指标（如生成质量评分）偏离离线分析结果超过阈值（通常设为 30%）时，系统应触发周期性重分析流程，动态更新效用函数参数。
回滚策略的设计同样关键。当检测到驱逐或压缩决策导致质量严重下降时，系统应具备快速恢复原始 KV 缓存的能力。在 EvicPress 的实现中，这一能力通过维护多版本压缩配置和快速解压缩路径来保证，使得回滚操作的延迟控制在毫秒级。
未来演进方向
nano-vLLM 中 KV 缓存管理的未来演进将沿着多个方向展开。其一是更细粒度的层间差异化策略，不同注意力层对压缩和驱逐的敏感度存在显著差异，未来的优化框架应能够为每层独立配置最优参数。其二是跨请求的缓存复用增强，通过更高效的 KV 缓存索引和检索机制，进一步提升多请求场景下的缓存命中率。其三是与投机解码等技术的协同优化，在保证生成质量的同时最大化推理吞吐量。
综上所述，nano-vLLM 中的 KV 缓存块驱逐与压缩策略已经从简单的规则驱动演进为基于效用优化的智能管理。通过语义感知分割、联合压缩 - 驱逐优化以及预算驱动的自适应块大小搜索等技术创新，工程实践得以在极有限的显存预算下维持高质量的长上下文推理能力。这些方法论不仅适用于轻量级推理框架，也为更广泛的 LLM 服务系统提供了可借鉴的工程范式。
资料来源：EvicPress: Joint KV-Cache Compression and Eviction for Efficient LLM Serving (arXiv:2512.14946); SABlock: Semantic-Aware KV Cache Eviction with Adaptive Compression Block Size (arXiv:2510.22556)