在构建面向大语言模型的知识库时，Wikipedia 作为全球最大的公开百科语料，其结构化程度高、实体关系丰富、跨语言版本完备，是 RAG 系统极具价值的知识来源。然而，Wikipedia 语料的处理与通用文档存在显著差异：海量 XML 格式的原始 dump、复杂的维基标记语言、跨语言的实体对齐需求，以及引用关系的追溯保留，都对数据工程提出了独特挑战。本文将从 Dump 格式解析、实体提取与链接、结构化入库三个层面，梳理 Wikipedia 语料抽取的工程实践路径，并给出可落地的参数配置与监控建议。
一、Wikipedia Dump 格式与解析工具选型
Wikipedia 数据以 XML 格式的_dump 文件发布，完整 dump 包含页面标题、页面 ID、修订版本 ID、时间戳、wikitext 内容以及元数据信息。典型的 English Wikipedia 完整 dump 文件体积可达数十 GB，单个文件无法一次性加载到内存，因此流式解析是工程实践的首要原则。当前主流的解析工具包括 mwxml、wikiextractor 和 wikitextprocessor 三类，各适用于不同场景。
mwxml 是 MediaWiki 官方维护的轻量级解析库，设计理念与 MWParser 一致，以页面和修订版本为单位进行流式迭代。它直接暴露页面 ID、修订版本 ID、时间戳和完整的 wikitext 文本，适用于需要保留完整元数据用于引用追溯或版本管理的场景。使用时通常采用以下模式：打开 dump 文件后逐页迭代，对每页提取标题、页面 ID、正文 wikitext，并记录对应的修订版本信息。需要注意的是，mwxml 本身不负责 wikitext 到纯文本的转换，这一转换需结合其他工具完成。
wikiextractor 专注于从 dump 中提取干净的纯文本，输出按页面组织的文本文件，默认配置下会去除模板展开、分类链接和多媒体内容。其优势在于开箱即用、输出格式简洁，适合直接用于文本索引或语言模型微调。但其默认输出不包含页面 ID 等元数据，如需保留引用关系，需要在提取阶段手动注入元信息。推荐配置参数包括：设置 —json 输出 JSON 格式以保留元数据，设定 —compress 启用 gzip 压缩以减少磁盘空间占用，根据目标领域通过 —links 和 —sections 参数控制提取范围。
wikitextprocessor 是近年来功能最完整的解析库，支持模板展开、Lua 模块执行和完整的 wikitext 语法解析。它能够将复杂的维基标记转换为结构化的纯文本或 HTML，同时保留章节层级、表格结构和模板参数。对于需要从 infobox 中提取结构化字段或处理跨语言页面的场景，wikitextprocessor 是更优选择。其核心使用流程包括：初始化 WikiTextProcessor 实例，调用 process 方法处理单页 wikitext，通过 expanded_text 属性获取展开后的文本，通过 templates 属性获取模板参数。
针对大规模语料处理，建议的工程参数如下：批处理大小设置为 1000 页或约 50MB 原始数据为一个处理单元；并行 worker 数量根据 CPU 核心数设为 4 到 8 个；内存峰值控制在 8GB 以下，通过流式写入避免中间结果堆积。如果处理非英文版本，还需指定对应的语言代码和 dumps 文件路径，部分工具对多语言 dump 的支持需要额外配置。
二、实体提取与跨语言对齐的工程实现
Wikipedia 语料的核心价值不仅在于文本本身，更在于其中蕴含的实体和关系。实体提取的目标是从页面文本中识别出实体提及，并将其映射到标准的 Wikidata 实体标识符，从而建立与外部知识图谱的连接。这一过程通常分为实体提及识别、候选生成和实体消歧三个步骤。
实体提及识别可以采用基于规则和基于模型两种方法。基于规则的方法利用 Wikipedia 自身的链接结构：文章内部的蓝色链接文本即代表一个实体提及，链接目标即为对应的 Wikipedia 页面。通过解析 wikitext 中的内部链接标记，可以以较低成本获得高质量的提及 - 实体映射。Wikiextractor 和 wikitextprocessor 均支持在提取过程中保留链接信息。对于未链接的实体提及，可以使用 spaCy 或 LLM 进行补充识别，但考虑到 Wikipedia 本身的链接覆盖率已超过 80%，补充识别的边际收益有限。
实体消歧是跨语言场景的关键挑战。Wikipedia 的多语言版本通过 Wikidata 项目实现了实体层面的统一标识：每个实体在全球唯一的 Wikidata ID，如 Q12345 对应「地球」。跨语言对齐的实现路径是：首先通过 Wikipedia 页面中的 [[zh:PageName]] 或 [[en:PageName]] 跨语言链接建立语言间映射，其次利用 Wikidata 的 sitelinks 数据获取实体在所有语言版本的页面标题。对于中文 RAG 系统，推荐使用 zhwiki dump 搭配 Wikidata 的 json dump，通过 Wikidata ID 作为桥梁实现中英文实体的对齐。具体的工程参数包括：实体链接置信度阈值设为 0.75 以上，消歧页面单独处理或直接过滤，多义词歧义保留前 3 个候选并记录置信度分数。
实体关系抽取同样重要。Wikipedia 的 infobox 包含了大量结构化属性，如人物的出生日期、职业，地理位置的坐标、人口，组织的成立时间、创始人等。infobox 解析需要首先识别页面中的模板名称（如 Infobox person），然后提取模板参数键值对。wikitextprocessor 提供了 templates 属性，可以直接访问解析后的模板参数。建议将 infobox 信息单独存储为结构化记录，与正文文本分开索引，以便在检索时支持结构化查询或在生成时提供精确的实体属性。
三、引用保留与 RAG 检索的设计要点
在 RAG 系统中使用 Wikipedia 语料时，引用保留是一个容易被忽视但至关重要的工程点。大语言模型在生成答案时需要标注信息来源，而 Wikipedia 文章的引用信息存储在页面底部的 References 区块，需要在提取阶段一并处理。
引用保留的实现方式有两种。第一种是粗粒度保留：以页面为单位记录页面标题和页面 ID，在检索时将页面级别作为元数据返回，由模型自行判断引用来源。这种方式实现简单，但无法精确到具体段落或句子。第二种是细粒度保留：在分块阶段为每个文本块关联其对应的参考编号列表。实现时需要在提取过程中解析 wikitext 中的标签，提取引用文本和引用目标，关联到具体的句子或段落。推荐的做法是在分块时记录每个 chunk 的起始和结束位置，然后将该位置范围内的引用编号列表附加到 chunk 元数据中。
分块策略直接影响引用精度和检索效果。针对 Wikipedia 内容的特殊性，建议采用以下参数：以 512 tokens 或 1000 字符为分块大小上限，相邻分块之间保留 50 tokens 重叠以维持上下文连续性，按照章节层级进行语义分块优先于固定步长滑动分块。章节层级分块的实现方式是首先通过 wikitextprocessor 提取页面结构（h2、h3 标题层级），以每个二级标题下的内容为一个语义单元，再对超长单元进行子切分。这种方式能够保证每个分块对应一个完整的知识主题，便于检索和引用。
检索层面，混合检索策略效果最佳。结合向量相似度检索与关键词精确匹配，向量检索使用 BGE-M3 或 bge-base-zh-v1.5 等支持多语言的嵌入模型，关键词检索使用 BM25 或 ElasticSearch 的全文索引。检索时将 Wikipedia 页面 ID 作为过滤条件，避免跨实体的混淆。生成答案时，通过 System Prompt 指定模型必须引用检索结果中的页面 ID，并在答案末尾标注出处列表。
四、结构化入库与质量监控
完成解析和提取后，数据需要写入向量数据库和结构化存储。根据下游应用场景的不同，推荐的存储架构包括：向量数据库存储文本块嵌入（如 Milvus、Qdrant 或 Weaviate），图数据库存储实体关系（如 Neo4j 或 TuGraph），关系型数据库存储结构化元数据（如 PostgreSQL）。
写入时需要关注的数据质量指标包括：页面 ID 去重率目标控制在 99.5% 以上，避免重复索引；实体链接成功率应达到 85% 以上，对于链接失败的实体单独记录日志供后续分析；文本块长度分布应呈正态分布，中位数在 400-600 tokens 区间，过短或过长的块需要检查分块逻辑；向量检索的召回率通过抽样查询进行评估，目标是在前 10 个结果中包含至少 8 个相关块。
监控告警的配置建议如下：数据处理延迟超过 2 小时告警，实体链接成功率低于 80% 告警，向量库写入失败率超过 0.1% 告警，磁盘使用率超过 70% 触发清理流程。定期执行的数据质量审计包括：抽样 1000 条记录验证实体链接准确性，核查热门实体（如名人、地点、事件）的信息完整性，确保引用保留的覆盖率符合预期。
五、总结与实践建议
构建基于 Wikipedia 的 RAG 知识库，其核心工程挑战在于：大规模 XML dump 的流式解析、跨语言实体的精准对齐、引用关系的细粒度保留，以及检索阶段混合策略的合理配置。在工具选型上，推荐使用 wikitextprocessor 进行完整的 wikitext 解析和模板展开，结合 mwxml 进行元数据提取；在实体链接上，以 Wikipedia 自身链接结构为主、LLM 补充识别为辅，通过 Wikidata ID 实现跨语言对齐；在引用保留上，采用基于章节层级的分块策略并附加引用编号列表；在检索上，混合向量检索与关键词检索，并通过 System Prompt 约束模型进行引用标注。
具体的落地参数可参考以下清单：处理批大小 1000 页、并行 worker 数 4-8、内存峰值 8GB、分块大小 512 tokens、重叠 50 tokens、实体链接置信度阈值 0.75、向量检索 top-k 设为 10。这些参数需要根据实际硬件资源和业务需求进行迭代调整，但为初始工程化提供了可复用的起点。
资料来源