自适应阈值语义去重：RAG Chunk 压缩中平衡召回与 Token 预算的工程实践

在 RAG 系统的生产实践中，检索阶段返回的 chunk 往往存在大量语义重叠。当知识库包含多篇相似文档或同一文档被重复索引时，标准 top-K 检索会将冗余内容一并送入 LLM，既浪费上下文窗口，又稀释有效信号。Headroom 等上下文压缩工具通过 auto-dedup 机制应对这一问题，但固定阈值难以适应不同数据分布。本文探讨基于相似度分布动态调整去重阈值的工程策略，在召回率与 token 预算之间建立可量化的平衡机制。

问题背景：冗余 chunk 的隐性成本

标准 RAG 流水线检索 top-K（如 10-20 个）chunk 后直接拼接到 prompt 中。当知识库存在以下场景时，冗余问题凸显：

• 文档重叠：多篇技术文档覆盖同一功能模块
• 版本迭代：同一文档的历史版本被重复索引
• 分段策略：滑动窗口切分导致相邻 chunk 内容高度相似

实测数据显示，未经去重的检索结果中，30-50% 的 token 消耗在语义重复的内容上。这不仅增加推理成本，更会因上下文噪声导致 LLM 输出质量下降。

核心算法：贪婪过滤与相似度矩阵

语义去重的标准实现采用贪婪过滤算法，其流程如下：

1. 检索阶段：从向量数据库获取 top-K 候选 chunk
2. 嵌入计算：使用轻量级模型（如 all-MiniLM-L6-v2）对 chunk 进行本地嵌入
3. 相似度矩阵：计算所有 chunk 间的成对余弦相似度
4. 贪婪筛选：按与查询的相关性排序，依次保留 chunk；若某 chunk 与已保留 chunk 的相似度超过阈值，则丢弃

该算法保证保留的 chunk 集合在语义上两两差异足够大，同时优先保留与查询最相关的内容。时间复杂度为 O (K²)，对于典型的 K=10-20 场景完全可接受。

自适应阈值：从固定值到动态调整

固定阈值（如 0.95）的问题在于无法适应不同数据集的相似度分布。自适应策略基于相似度分布直方图进行动态调整：

分布诊断指标

• 高相似度聚集：若大量 chunk 对的相似度 >0.9，说明知识库冗余严重，应降低阈值
• 分布分散：若相似度均匀分布在 0.5-0.9 区间，说明内容多样性较好，可提高阈值保留更多上下文

动态阈值公式

实践中可采用分位数驱动的阈值调整：

# 基于相似度分布的阈值计算
def adaptive_threshold(similarities, target_compression=0.3):
    """
    similarities: 所有 chunk 对相似度列表
    target_compression: 目标压缩率（如 0.3 表示去除 30% chunk）
    """
    sorted_sims = sorted(similarities, reverse=True)
    cutoff_idx = int(len(sorted_sims) * target_compression)
    return sorted_sims[cutoff_idx]

更精细的策略可结合查询复杂度动态调整：对于模糊查询（如 "总结技术方案"）适当提高阈值保留更多上下文；对于精确查询（如 "某函数的参数列表"）可降低阈值激进去重。

可落地参数配置

基于生产环境的经验数据，推荐以下阈值选择策略：

监控与反馈闭环

建立去重效果的量化监控是持续优化的关键：

核心指标

• 去重率：(检索 chunk 数 - 保留 chunk 数) / 检索 chunk 数，目标区间 20-40%
• Token 节省率：去重前后 prompt token 数对比
• 答案一致性：对比去重前后的 LLM 输出，使用语义相似度或人工评估确保信息未丢失

告警阈值

• 去重率 <10%：阈值可能过高，冗余未有效去除
• 去重率 >50%：阈值可能过低，存在信息丢失风险
• 连续 N 次查询答案一致性下降：触发阈值自动上调

工程集成要点

将自适应去重集成到 RAG 系统时需注意：

1. 嵌入模型选择：使用与检索阶段相同或兼容的嵌入模型，避免语义空间不一致
2. 计算延迟：本地嵌入计算增加 50-200ms 延迟，可通过缓存热门 chunk 的嵌入向量优化
3. 流式处理：对于超长文档，采用滑动窗口去重而非全量矩阵计算
4. 可逆设计：如 Headroom 的 CCR 机制，保留原始 chunk 的检索路径，允许 LLM 按需回查

权衡与边界

自适应阈值去重并非万能方案，需明确其适用边界：

• 不适用场景：需要精确引用原文的问答（如法律条文核对），去重可能导致关键细节丢失
• 冷启动问题：新数据集缺乏历史相似度分布数据时，建议从保守阈值（0.95）开始，逐步收集数据后调整
• 多语言混合：跨语言知识库中，不同语言的相似 chunk 可能具有互补信息，需禁用或放宽去重

总结

基于相似度分布的自适应阈值语义去重，为 RAG 系统提供了在召回率与 token 预算之间动态平衡的能力。通过贪婪过滤算法、分布驱动的阈值调整以及完善的监控闭环，可在典型场景下实现 30-50% 的 token 节省而不牺牲答案质量。工程实施时应从默认阈值 0.95 起步，结合去重率、token 节省率和答案一致性三项指标持续迭代优化。

参考来源

• Headroom: https://github.com/chopratejas/headroom
• RAG with Retrieval-Time Semantic Deduplication: https://github.com/dakshjain-1616/RAG-with-Retrieval-Time-Semantic-Deduplication

ai-systems