高保真 KV Cache 摘要：基于熵值引导与低秩重构的压缩方法

在大语言模型推理过程中，KV Cache 作为存储注意力机制键值对的核心数据结构，其内存占用随序列长度和批处理规模线性增长，这一特性在长上下文场景下迅速成为系统瓶颈。业界已有的压缩方案大多聚焦于 token 级别的筛选与裁剪 —— 无论是基于注意力的 Top-K 剪枝、滑窗限制，还是量化映射，本质上都是通过丢弃部分信息换取内存削减。然而，这种 “选择性保留” 的思路在极端压缩比下容易出现误差累积，尤其是当关键语义 token 被误删时，生成质量会出现断崖式下降。本文要探讨的技术路径则采取了截然不同的策略：不是选择保留哪些 token，而是对已有缓存进行 “摘要式重构”，通过熵值引导识别信息密度较低的缓存条目，结合普通最小二乘重建与奇异值分解实现高保真压缩。

传统 KV Cache 压缩方法的问题在于，它们将压缩视为一个离散的筛选问题 —— 要么保留某个 token 的完整 KV 向量，要么将其彻底丢弃。这种二元决策的局限在于，模型对不同 token 的依赖程度差异巨大：某些 token 虽然在注意力权重中占比不高，但其向量表示中蕴含的语义信息一旦缺失，会在后续生成中产生蝴蝶效应。研究者提出的新思路是将压缩重新建模为注意力函数的逼近问题，即在给定压缩预算的条件下，最小化恢复原始注意力输出的重构误差。这一范式转变带来了本质上的不同：压缩不再关注 “保留什么”，而是关注 “如何用更少的维度表达同样的信息”。

具体实现上，该方法采用了三阶段流水线。第一阶段使用熵值作为 token 重要性的代理指标：计算每个缓存条目对应的注意力分布熵值，熵值越高意味着该 token 的注意力分布越均匀（即对后续生成的影响越分散），反之则说明该 token 的注意力高度聚焦，可能是关键语义节点。通过设定熵值阈值，系统可以快速筛选出信息密度较低的缓存条目，将其标记为 “可压缩” 而非直接丢弃。第二阶段引入普通最小二乘回归来重建被压缩 token 对注意力输出的贡献。这里的核心思想是，即使某个 token 本身的注意力权重不高，它与其他 token 的协同作用可能仍然重要。通过分析被标记 token 与保留 token 之间的线性关系，OLS 可以估计出前者对最终注意力输出的 “补偿分量”，这相当于在丢弃原始数据之前先提取其统计价值。第三阶段使用奇异值分解对处理后的缓存矩阵进行低秩近似，通过保留前 k 个奇异值及对应的奇异向量，在保证重构精度的前提下大幅降低存储维度。

这种三步走的策略在实验中展现出了优于传统 Top-K 剪枝的压缩特性。在相同的内存预算下，基于熵值引导的低秩重构方法能够在注意力重构误差上实现更低的数值，这意味着模型在后续生成时可以更准确地利用历史上下文信息。特别是在极低压缩比（比如保留原始缓存的 20% 到 30%）的场景下，Top-K 方法的误差曲线通常会出现快速恶化，而基于 SVD 的连续维度压缩则能够保持相对平缓的误差增长趋势。背后的原因在于，token 级别的硬删除本质上引入了非连续的信息缺口，而低秩近似则通过全局结构保持实现了信息的平滑过渡。

从工程落地的角度看，这种方法引入了几个关键的参数设计空间。熵值阈值决定了第一阶段筛选的激进程度，阈值越高意味着更多 token 被标记为可压缩，但同时也可能误伤重要语义节点，建议的初始范围是 2.0 到 3.5（以自然对数为基准），具体数值需要根据模型层数和注意力头配置进行调优。SVD 分解的截断秩 k 是另一个核心参数，它直接决定了压缩比与重构误差的权衡曲线，实际应用中可以通过预设误差容忍阈值（例如 5% 到 10% 的注意力输出相对误差）来动态选择 k 值。值得注意的是，OLS 重建和 SVD 分解的计算开销远大于简单的 token 剪枝，因此这些操作通常不会在每个解码步骤都执行，而是采用周期触发的策略 —— 例如每处理 128 到 512 个新 token 后进行一次全局压缩，这种 “摊销” 策略可以有效缓解延迟压力。

当前阶段的主要局限同样值得关注。首先是延迟开销问题：尽管 OLS 和 SVD 的执行频率经过摊销调整，但其单次计算成本仍然显著，特别是 SVD 分解在大型 KV 矩阵上的复杂度达到 O (n³) 量级，对于超长上下文场景可能成为推理吞吐量的瓶颈。研究者已经意识到这一点，并在后续工作中计划使用自定义 Triton 内核将相关运算迁移到 GPU 以获得更优的并行效率。其次是验证范围有限：目前大部分实验还是在合成数据集上完成的，使用高斯分布的 token 嵌入和随机初始化的权重矩阵来隔离变量，这种设定虽然有助于理解方法的理论行为，但与真实模型的实际数据分布存在显著差异。在真实 LLM（比如 Llama 或 Mistral 系列）上的压缩效果、对下游任务（如问答、摘要、代码生成）的最终影响，还需要更多实验验证。最后，该方法在实现复杂度上比单纯的 Top-K 剪枝高出不少，对于追求极致简单性的生产系统而言，可能存在过度工程化的风险。

尽管如此，这项研究为 KV Cache 压缩提供了一个有价值的正交视角：将缓存视为待重构的信号而非待筛选的集合。高保真度并非来自更聪明的选择，而是来自更精确的数学表示。未来，如果能够通过硬件层面的内核优化降低计算开销，并在真实模型和长上下文任务上验证其有效性，这种基于熵值引导与低秩重构的摘要压缩方法有可能成为长上下文推理系统中的一种重要工程选项。

资料来源：作者在 Hacker News 上的技术讨论与原型分享¹。

ai-systems