技术文档中的信息并非总是以纯文本形式存在。规格参数表、认证矩阵、接线图、架构示意图 —— 这些 "承载性" 视觉元素往往包含着问题的关键答案。然而，传统的文档处理流程要么完全忽略这些图像，要么将其粗暴展平为无序文本，导致行列关系溶解、语义结构丢失。本文基于生产环境的实践经验，介绍一套针对技术文档中图表与表格的自动化提取与向量化流水线。
承载性图像：被忽视的答案来源
技术文档中的图像可分为两类：说明性图像仅是对文字的可视化补充，而承载性图像则是答案的原始载体。一个颜色可用性矩阵、一张防火等级对照表，或是一份引脚接线图 —— 这些视觉元素中的信息往往 "只存在于图中"。
传统处理方式的问题在于结构丢失。当使用通用提取器将表格展平为纯文本时，行列对齐关系消失，单元格之间的语义关联断裂。结果是，RAG 系统可能自信地告诉用户某款产品支持一种实际并不存在的颜色配置 —— 因为展平后的文本丢失了矩阵中的勾选逻辑。
流水线架构：从布局分析到向量化
完整的提取流水线包含四个核心阶段：
布局分析与区域分区是第一步。基于 PaddleOCR ppstructure 等工具，文档页面首先被分割为不同语义区域 —— 正文文本、标题、图像、表格。这一分区决策至关重要，它决定了后续处理策略的选择。表格区域进入专门的表格识别链路，而图表区域则触发矢量图形检测与数据点提取流程。
OCR 与结构化提取阶段针对不同区域采用差异化策略。对于表格，流程细化为：表格检测定位边界 → 单元格内文本检测与识别 → 表格结构预测重建行列关系。对于矢量图表，则需要路径检测提取底层数据点，将柱状图高度、折线坐标转化为结构化数值。
上下文增强描述解决了孤立提取的局限性。实践表明，将图像周围的段落文本作为上下文输入，描述质量显著提升。一个没有上下文的文件上传对话框只能被描述为 "一个网页表单"，而结合上下文后，描述则锚定于具体产品、特定工作流和明确步骤 —— 这正是检索所需的语义精度。
存储与索引策略面临关键架构决策。实验对比了两种方案：内联存储将描述嵌入原文档分块，独立存储则将每个描述作为单独分块。结果显示，独立分块在成本和效果上均胜出 —— 内联方案使每查询成本增加 19%，而独立分块仅增加 1% 至 6%，且图像使用率更高（在 51% 的查询中进入前 15 位重排序结果）。
关键技术决策与参数
模型选择遵循性价比优先原则。对比测试表明，GPT 5.4 mini 等小型模型生成的描述与四倍价格的模型几乎无差别，仅在 nano 级别出现明显下降。在数百万图像的索引规模下，这一选择直接决定成本可行性。
过滤机制采用分层策略。启发式规则处理明显噪声（不支持的格式、极小尺寸、极端宽高比），零样本分类器处理剩余部分，在清晰图像上达到 96.8% 准确率。需要接受的是，部分图像本质模糊 —— 一个倒计时计时器的截图可能是装饰横幅，也可能是教程步骤，仅凭像素无法判定，准确率在此类场景下降至 59.8%。
结构化数据格式选择影响下游检索效果。表格提取优先保持 CSV 或 Markdown 表格格式，保留行列关系；图表数据则存储为键值对或 JSON，记录坐标轴标签、图例和数据系列。这种结构化表示使向量嵌入能够捕捉数据间的数值关系，而非仅依赖文本相似度。
落地效果与权衡
该流水线在三类技术文档数据集上的实测结果：图像引用率从 0% 提升至 10% 至 64%，答案质量经 LLM 评判显著改善（McNemar 检验，p < 0.05），每查询成本仅增加 1% 至 6%，首 token 延迟增加不足一秒。图像定位准确率达 94% 至 99%。
核心权衡在于索引成本与查询成本的转移。方案将视觉处理从查询时移至索引时，产生一次性索引成本，但消除了每查询的视觉模型调用开销。对于查询量远大于索引量的生产场景，这一转移显著降低总体拥有成本。
实施建议
对于计划实施类似流水线的团队，建议按以下优先级推进：首先建立布局分析分区能力，区分表格、图表与装饰性图像；其次针对表格场景优化结构保持策略，避免简单展平；然后引入上下文增强的描述生成，提升检索语义精度；最后采用独立分块存储，优化成本与检索效果。对于矢量图表的数据提取，需评估 PDF 编码质量 —— 部分图表的底层数据点可直接提取，而扫描件或位图则需要额外的数据重建步骤。
技术文档的图表与表格不应成为 RAG 系统的盲区。通过结构化的提取流水线，这些承载性视觉元素可以转化为可检索、可引用的结构化数据，最终让用户获得 "可立即执行" 的答案，而非 "请查找相关章节" 的模糊指引。
资料来源
- Kapa AI: How we index images for RAG (2024)
- PaddleOCR ppstructure documentation: Table recognition pipeline
内容声明：本文无广告投放、无付费植入。
如有事实性问题，欢迎发送勘误至 i@hotdrydog.com。