在检索增强生成（RAG）系统中，文本分块（Chunking）直接决定了检索质量的上限。传统的固定窗口分块方法 —— 如按字符数或 token 数硬性切分 —— 往往在语义连贯性上做出妥协，导致重要信息被截断或无关内容被混入检索结果。本文聚焦于语义分块的工程化实现，探讨如何通过动态窗口与语义边界检测，构建更智能的文档切分策略。
从固定分块到语义分块的范式转变
固定分块的本质是将文档视为均匀的字符串序列，忽视了文档内在的语义结构。一段完整的论述、一个完整的代码函数、或一个独立的法律条款，往往跨越固定的 token 边界。语义分块的核心思想是让切分点尽可能对齐文档的语义单元边界，使每个块（Chunk）内部保持较高的语义一致性，同时与相邻块形成明显的语义差异。
这一方法最初由 Greg Kamradt 提出，并在 LangChain 中得到实现。与传统方法的关键区别在于：语义分块首先对文档进行句子级别的嵌入，然后计算相邻句子之间的语义相似度，通过检测相似度的 “谷值” 来识别主题切换点。这种方法本质上是一个信号处理问题 —— 我们将句子嵌入序列视为时间序列信号，边界检测就是在这个信号上寻找突变点。
LangChain 提供的 SemanticChunker 支持三种边界检测策略。第一种是百分位法（percentile），计算所有相邻句子对的相似度差异，然后选择差异值大于第 X 百分位的点作为切分点。第二种是标准差法（standard_deviation），当相似度差异超过 X 倍标准差时触发切分。第三种是四分位距法（interquartile），利用四分位距来动态确定阈值。在实际工程中，百分位法因其对不同文档类型的适应性而最为常用，默认阈值为 90 意味着保留最顶部 10% 的语义差异点作为边界。
动态窗口的核心工程参数
将语义边界检测转化为可生产的分块系统，需要精心设计动态窗口的行为。以下是工程实践中必须调优的核心参数。
最小与最大块大小是最直接的约束。最小块大小（min_tokens）通常设置在 80 至 150 个 token 之间，确保每个块包含足够的上下文信息，避免过度碎片化。最大块大小（max_tokens）则取决于下游大语言模型的上下文窗口容量，一般设置在 300 至 800 token 之间。当累积的文本达到最大限制时，即使没有检测到强语义边界，也必须执行切分。这种硬性截断可能影响检索质量，因此需要在索引阶段预留一定的重叠区域。
重叠参数（overlap）用于缓解边界截断问题。推荐的重叠范围为 1 至 3 个句子，或按 token 计为平均块大小的 10% 至 20%。例如，如果平均块大小为 400 token，则重叠区域可设为 40 至 80 token。重叠的核心价值在于保证跨边界的主题信息不被遗漏 —— 当用户查询恰好涉及两个块交界处的概念时，重叠能够确保检索系统返回完整的上下文。
平滑窗口（smooth_k）用于减少边界检测中的噪声。计算相邻句子对的相似度时，单点的随机波动可能导致误判。通过对 3 至 5 个相邻相似度值取移动平均或中位数，可以获得更稳健的边界信号。较大的平滑窗口（如 5）会减少边界数量，使每个块更大且更连贯；较小的窗口（如 2 至 3）则对主题切换更敏感，可能产生更多但更精准的边界。
边界强度与自适应的阈值策略
静态阈值在跨领域文档场景中表现不佳。一份紧密围绕单一主题的技术文档，其内部句子间的语义相似度普遍较高；如果阈值设置过低，可能导致几乎不产生任何切分。相反，一份包含多种不相关主题的杂糅文档，即使在单一主题内部也可能存在较大的语义跳跃。解决这个问题需要动态阈值策略。
百分位自适应阈值是工程实践中的首选方案。具体做法是：首先计算整篇文档所有相邻句子对的相似度分布，然后选择第 10 至 25 百分位之间的值作为切分阈值。这意味着无论文档的整体语义密度如何，系统总是自动选取 “相对最显著的” 语义差异点作为边界。这种方法在英语技术文档和中文长篇文章中均表现稳定。
双阈值滞后机制（hysteresis）可以进一步提升边界判断的可靠性。设置两个阈值 —— 较低的进入阈值（T_enter）和较高的确认阈值（T_confirm）。当相似度首次降到进入阈值以下时，标记为候选边界；只有当相似度持续保持在确认阈值以下（或进一步下降）时，才确认边界。这种两阶段判断显著降低了噪声引发的 “边界抖动” 问题。
边界强度评分为切分决策提供了量化依据。强度可定义为 1 - similarity（距离度量）或 previous_similarity - current_similarity（变化率）。在构建动态窗口时，如果当前块长度不足最小阈值，则忽略强度较低的边界，只在检测到强边界（强度 > strong_T）时才执行切分；当块长度接近但未达到软上限（soft_max_tokens）时，可以接受中等强度的边界；接近硬上限时，选择当前最强的候选边界强制切分。
层次化检索中的语义分块策略
在大规模知识库场景中，单一层级的语义分块往往不足以平衡检索精度与召回效率。层次化索引是一种被验证有效的架构：先在文档级别建立摘要索引，实现快速的粗粒度召回；再在块级别建立详细的语义索引，实现精确的细粒度检索。
在层次化架构中，语义分块策略需要与上层索引协同设计。顶层摘要索引通常采用更大的块（800 至 2000 token），以捕获段落级别的主题信息；底层详细索引则使用更小的块（200 至 500 token），以确保检索的精细度。语义分块的边界检测在底层索引中发挥作用，顶层索引则可以使用固定的段落切分或基于文档结构的标题级别切分。
这种双层结构还支持分阶段检索策略：用户查询首先在摘要层匹配，返回与查询意图最相关的文档集合；然后在每个返回的文档内，通过语义分块产生的细粒度块进行二次检索。这种设计在处理长文档（如完整的法律合同或技术白皮书）时尤为有效，避免了在大面积文档上直接进行细粒度检索带来的计算开销。
监控指标与调优实践
语义分块的效果最终需要通过检索质量来衡量，而非单纯的块统计。以下指标应在工程实践中持续监控。
块级别的平均相似度反映了块内部的语义紧凑程度。使用与分块相同的嵌入模型，计算每个块内所有句子对相似度的平均值。如果该值偏低，说明块内部可能混入了多主题内容，需要调高边界的敏感度或增大最小块大小的约束。
边界相似度的分布是评估边界质量的关键。强边界的相邻句子相似度应该显著低于块内部的平均相似度。如果边界相似度的分布与块内部相似度分布存在明显重叠，说明阈值设置不当，导致过多弱边界或遗漏重要边界。
检索召回率与精确率是最终的端到端指标。通过构建包含明确答案的测试集，对比使用语义分块与固定分块的检索性能差异。在实践中，语义分块通常能在精确率上获得 10% 至 20% 的提升，尤其在涉及多主题文档或需要跨段落综合信息的复杂查询场景中收益更为显著。
对于生产环境，建议将分块参数配置化，并通过 A/B 测试或线上指标监控来持续优化。不同的文档类型（技术文档、新闻报道、法律合同）可能需要不同的参数组合，建立文档类型到参数集的映射表是规模化部署的有效路径。
资料来源：本文技术细节参考了 NirDiamant 的 RAG Techniques 开源项目（GitHub: NirDiamant/RAG_Techniques）中关于语义分块的实现方案，并综合了语义边界检测的工程化最佳实践。