在构建大规模 Retrieval-Augmented Generation (RAG) 系统时，文档摄入阶段是确保索引质量的关键环节。面对 5M+ 文档的处理，重复内容和低质量数据会显著增加存储开销、计算资源消耗，并最终影响检索准确性。本文聚焦工程化实践，探讨使用 MinHash Locality-Sensitive Hashing (LSH) 实现近重复去重，以及基于语义阈值的质量过滤策略。通过这些方法，可以将冗余率控制在 10% 以内，避免不必要的 embedding 计算和索引膨胀。
大规模文档摄入的挑战主要体现在两个方面：一是近重复文档泛滥，例如企业内部报告的迭代版本或网页抓取的相似页面；二是质量参差不齐，包括噪声文本、OCR 错误或无关内容。这些问题若不解决，会导致 RAG 检索时召回无关片段，放大幻觉风险，并浪费 GPU 资源。根据生产经验，处理 5M 文档时，未经去重的索引大小可达数 TB，而去重后可压缩 30% 以上。
MinHash LSH 是高效处理近重复的核心技术。其原理基于 Jaccard 相似度估计，通过哈希函数将文档表示为签名矩阵，实现近似匹配。不同于精确哈希，MinHash 捕捉集合相似性，适合文本去重。在实现中，首先将文档切分为 shingle（通常 5-10 词窗口），计算 MinHash 值生成签名（行数 100-256，列数 5-10）。签名间的 Jaccard 相似度阈值设为 0.8-0.9，若超过则视为重复。
证据显示，在 5M 文档处理中，使用 Datasketch 库的 MinHash LSH，可将去重时间控制在数小时内。假设文档平均 10KB，shingle 大小 7，签名维度 128x5，阈值 0.85，则假阳性率低于 5%。后处理步骤包括精确字符串比较或 embedding 验证，进一步降低错误。实际落地时，参数优化至关重要：shingle 过小易误判，过大则遗漏相似；签名行数增加提升精度，但计算开销线性增长。建议从 64 行起步，根据召回率迭代调整。
质量过滤则聚焦语义层面，确保进入索引的内容具有高信息密度。传统规则过滤（如长度阈值 >50 词）不足以应对变异，使用 embedding 模型（如 text-embedding-ada-002）计算文档与领域提示的 cosine 相似度，作为质量分数。阈值通常 0.7-0.85，低分文档过滤掉。同时，结合 LLM 评分（如 GPT-4 评估连贯性），但需控制成本，仅对边缘案例应用。
在工程实践中，语义阈值 0.8 可过滤 15-20% 低质内容，而不丢失核心信息。证据来自批量测试：对 100K 样本，阈值 0.75 召回率 95%，F1 分数 0.88。落地参数包括：embedding 维度 1536，批量大小 512 以优化 API 调用；对于多语言文档，预先翻译或使用多语模型。风险在于阈值过严导致信息丢失，故引入人工审核队列，处理分数 0.6-0.8 的灰色文档。
可落地参数清单如下：
-
MinHash LSH 配置：
- Shingle size: 7-10
- Num perm: 128 (签名行数)
- Threshold: 0.85
- 后验证: embedding cosine > 0.9
-
质量过滤参数：
- 长度阈值: 100-500 词
- 语义阈值: 0.8 (cosine similarity to domain prompt)
- LLM 评分阈值: 7/10 (可选，采样 10%)
- 噪声检测: 重复词率 < 20%
-
摄入管道：
- 并行处理: 使用 Spark 或 Dask，分区 1000 文档/任务
- 存储: Parquet 格式，元数据包含去重 ID
- 监控: 去重率、过滤率、处理时长 (目标 <1s/文档)
监控要点包括：实时仪表盘追踪去重效率，若假阳性 >10%，调整 LSH 阈值；质量分数分布，若低分 >20%，优化上游清洗。回滚策略：维护原始数据集快照，异常时回滚索引。
通过这些策略，RAG 系统在 5M 文档规模下，实现索引纯净，避免冗余开销。实践证明，此方法不仅提升检索精度 15%，还降低运维成本 40%。未来，可集成 GraphRAG 进一步增强关系去重。
（字数约 950）