在大语言模型推理系统中，KV Cache 作为降低显存占用与减少计算延迟的核心组件，其管理策略直接影响整体系统性能。传统缓存淘汰算法如 LRU（最近最少使用）和 LFU（最不经常使用）在单一工作负载场景下表现稳定，但在混合工作负载环境下，单一策略难以兼顾不同请求类型的缓存需求。本文提出一种基于请求特征、访问频率和时间衰减的混合优先级评分机制，为 KV Cache 淘汰决策提供更精细的控制能力。
混合工作负载带来的缓存管理挑战
现代 LLM 推理服务通常需要同时处理多种类型的请求：短文本补全、长文档生成、多轮对话延续、批量推理任务等。这些请求在缓存需求上存在显著差异：短文本请求通常只需要少量的 KV Cache 块，但访问频率可能很高；长文档生成则需要大量的连续缓存空间，但访问模式相对单一；批量推理任务往往是一次性密集计算，对缓存复用的需求相对较低。传统的 LRU 策略倾向于保留最近访问的缓存块，可能导致高频短请求的缓存被长请求挤出；而 LFU 策略虽然能保留访问频次高的缓存，但无法适应请求模式的动态变化。
这种复杂性要求淘汰策略必须具备多维度感知能力，能够根据请求特征动态调整缓存保留优先级。单纯依靠某一种替换策略已经无法满足混合工作负载的性能需求，这正是引入混合优先级评分机制的背景所在。
混合优先级评分算法的设计与实现
请求特征维度
请求特征是评分算法的基础维度，涵盖输入 token 数量、输出 token 预期长度、请求类型标识、历史缓存占用情况等信息。在实现时，系统为每种请求类型预设权重因子：交互式补全请求的权重通常高于批量处理请求，因为前者对延迟更敏感；包含系统提示词的请求由于包含大量可复用的知识内容，其缓存价值也相对较高。通过将请求特征量化为一维评分分量，可以区分不同请求对缓存的迫切程度。
具体而言，系统会为每个缓存块关联其所属请求的元数据，包括请求类型、创建时间戳、已复用次数等。当需要进行淘汰决策时，系统首先根据这些元数据计算请求特征评分。该评分不仅考虑当前请求的属性，还结合该请求在历史服务中的平均缓存收益，形成对缓存价值的预判。
访问频率维度
访问频率维度衡量缓存块被重复使用的次数与间隔。在 LLM 推理场景中，同一用户的多轮对话、重复的 prompt 模板、常见查询的补全结果都是高频访问的典型场景。访问频率评分采用指数加权移动平均方法计算：每一次缓存块被访问时，其频率计数器增加；若一段时间内未被访问，则按固定衰减率递减。这种设计使得评分既能反映历史访问热度，又能快速响应访问模式的突变。
在实际部署中，访问频率评分需要与缓存块的物理位置信息结合。由于 PagedAttention 等技术将 KV Cache 分页管理，每个缓存块可能包含来自不同请求、不同层级的 token 序列。评分算法需要追踪每个分页块的访问历史，并将其聚合为整体评分。为降低计算开销，通常采用分层计数的策略：先在块级别维护访问计数，再定期向上聚合为请求级别的评分。
时间衰减维度
时间衰减维度解决的是缓存时效性问题。即便某个缓存块具有较高的历史访问频率，如果其关联的 prompt 模板已过期或用户上下文已经变更，继续保留该缓存块的收益就会显著下降。时间衰减采用指数衰减函数，衰减速率可根据业务特点配置：对于知识密集型任务，衰减速率相对较低，因为底层知识具有较强的稳定性；对于实时性要求高的任务，衰减速率则应相应提高。
时间衰减还与请求的生命周期管理紧密关联。当一个请求完成并进入归档状态后，其关联的 KV Cache 并非立即释放，而是进入冷却期。在冷却期内，缓存块仍然可以被复用，但会持续受到时间衰减的影响。如果在冷却期内未被重新访问，缓存块将逐渐失去保留价值，最终被淘汰。这种设计在保证缓存利用率的同时，避免了无效缓存占用宝贵的显存空间。
评分聚合与淘汰决策
三个维度的评分需要通过加权聚合形成综合评分。权重分配是算法设计的关键参数，通常需要通过离线模拟和在线 A/B 测试确定。一般而言，访问频率维度在长期稳定性上表现较好，时间衰减维度在适应热点变化时更为敏感，请求特征维度则提供了业务层面的先验知识。典型的权重配置为访问频率占百分之四十到五十，时间衰减占百分之三十到四十，请求特征占百分之二十左右。
淘汰决策时，系统选择综合评分最低的缓存块进行释放。为避免评分抖动导致的缓存震荡，算法引入缓冲机制：只有当某个缓存块的评分持续低于阈值一定时间后，才将其纳入淘汰候选集。同时，系统维护一个最小保留集，确保高频访问的缓存块不会被意外淘汰。
工程实践与性能收益
在实际部署中，这套混合评分机制需要与底层缓存管理框架紧密集成。以 vLLM 为例，其 PagedAttention 提供了细粒度的分页管理能力，淘汰策略通过 BlockAllocator 接口实现。开发者需要实现自定义的评分函数，并在每次分配新缓存块时触发评分更新。由于评分计算涉及多个维度的状态维护，合理的并发控制与批量处理对性能至关重要。
性能收益主要体现在三个指标上：缓存命中率提升、显存利用率改善、推理延迟降低。在混合工作负载场景下，相比单纯的 LRU 或 LFU 策略，混合评分机制通常能够将缓存命中率提高百分之十五到二十五，在显存受限环境下可支持更高并发度的请求处理。对于长尾查询密集型服务，收益尤为显著。
总结
混合工作负载下的 KV Cache 淘汰策略需要突破传统单一替换算法的局限，通过引入请求特征、访问频率和时间衰减三个维度的综合评分，实现更精细的缓存管理。这种方法在工程上具有较强的可扩展性，可以根据具体业务场景调整权重配置和衰减参数，为不同类型的 LLM 推理服务提供定制化的缓存优化方案。
资料来源：本文技术分析基于 vLLM 文档中关于 PagedAttention 和 Block 管理的设计说明，以及 LRU、LFU 等经典缓存算法在 KV Cache 场景下的应用研究。