传统 RAG 系统在处理企业文档时面临一个结构性盲区：财报中 60% 以上的关键信息存在于图表和表格中，而非正文文本。当用户询问 "Q3 亚太区营收趋势" 时，纯文本检索只能返回零散的提及，无法捕捉柱状图或折线图中承载的完整趋势信息。多模态 RAG 通过将图像纳入索引体系，使检索系统能够同时理解视觉与文本内容，这一能力在医疗影像分析、金融研报解读、技术文档问答等场景中已成为刚需。
三种核心架构模式
当前业界主流的多模态 RAG 实现可归纳为三种架构模式，每种模式在检索质量、存储开销和工程复杂度之间存在不同权衡。
统一嵌入空间模式采用 CLIP 或 SigLIP 等双编码器模型，将文本和图像投影到同一向量空间。CLIP ViT-L/14 输出 768 维向量，SigLIP 2 So400m 则提供 1152 维表示。这种模式的优点是索引结构简单，单次查询即可跨模态检索；缺点是 CLIP 类模型对文档类图像（如图表、流程图）的理解能力明显弱于自然图像，且表格等结构化内容需要序列化处理。
模态特定检索 + 融合模式为每种模态维护独立索引：文本使用稠密向量 + BM25 混合检索，图像使用 CLIP/SigLIP 编码，表格则转换为 Markdown 后单独索引。检索阶段通过 Reciprocal Rank Fusion（RRF）合并结果，k 值通常设为 60。该模式允许针对每种模态选择最优编码器，例如对表格使用专门优化的模型，但增加了基础设施复杂度和融合逻辑的调优成本。
视觉优先（Page-as-Image）模式以 ColPali 为代表，将文档页面直接视为图像处理。ColPali 使用 SigLIP 视觉编码器将页面切分为 32×32 的 patch 网格（约 1024 个 patch），经 Gemma 2B 语言模型上下文处理后，每个 patch 生成 128 维向量。查询时通过 Late Interaction（MaxSim）计算查询 token 与页面 patch 的最大相似度之和。该模式无需 OCR、布局检测或表格解析流水线，端到端可训练，但存储开销显著：单页文档产生约 1024 个向量，百万页文档规模下需采用二进制量化或乘积量化（PQ）压缩。
视觉特征提取与多尺度 Embedding 策略
图像索引的核心在于选择合适的视觉编码策略。对于自然图像（产品照片、场景图），CLIP 或 SigLIP 的 global pooling 特征已足够；但对于文档类图像，需要更细粒度的表示。
ColPali 的 patch 级 embedding 策略解决了文档理解的粒度问题。每页 1024 个 patch embedding 保留了布局、图表和文本区域的空间关系，MaxSim 机制允许查询中的不同 token 分别与图像中最相关的区域匹配。这种 "late interaction" 方式相比早期融合（early fusion）的全局向量，在 InfographicVQA、ArxivQA 等视觉复杂基准上表现更优。
对于混合内容文档，推荐采用双表示策略：一方面使用 VLM（如 GPT-4V、Claude Sonnet）生成图像的文本描述（"该柱状图显示 Q3 北美营收 420 万美元，环比增长 15%"），将描述纳入文本索引；另一方面保留原始图像的 CLIP/SigLIP embedding 用于视觉检索。这样既支持文本查询（"亚太营收多少"），也支持视觉查询（"显示营收趋势的图表"）。
表格处理需遵循原子性原则：表格必须作为完整的检索单元，禁止跨 chunk 切分。使用 VLM 提取表格为 Markdown 格式，并附加元数据标记（type=table, caption=Q3 Revenue by Region），检索时可通过元数据过滤优先返回表格类型结果。
跨模态检索优化
跨模态检索面临的核心挑战是模态间的语义对齐偏差。CLIP-based 模型在训练时可能存在文本 - 图像相似度的系统性偏移，实践中常见文本检索结果过度主导的现象。对此可采取三项优化措施：
查询路由与结果配额：通过查询分析器识别查询意图，图像描述类查询（"展示架构图"）优先路由至视觉索引。同时设置结果多样性配额，确保每次检索至少返回 2 个文本结果、2 个表格结果和 1 个视觉结果，避免单一模态垄断。
跨模态重排序：初始检索后使用跨模态重排序器（cross-encoder）对混合结果进行相关性打分。重排序器可捕捉早期检索阶段遗漏的细粒度语义关联，典型配置是取 Top-50 候选进行重排后输出 Top-5。
多跳检索策略：对于需要跨模态推理的复杂查询（如 "对比图表中的趋势与表格中的具体数值"），采用 Agentic 检索模式。系统首先检索图表获取趋势信息，识别信息缺口后自动触发二次检索获取对应数值表格，最后将多源上下文组装后提交给 VLM 生成答案。
生产级实现参数与监控清单
构建生产级多模态 RAG 系统时，以下参数和监控点需重点关注：
索引存储参数：ColPali 每页约 1024 个 128 维向量，原始存储约 512KB / 页。采用二进制量化可将存储降低 32 倍，召回率损失通常控制在 2% 以内。对于百万页级文档库，建议采用分片存储策略，热数据使用全精度向量，冷数据使用量化向量。
VLM 提取成本与时效：使用 VLM 进行图像内容提取的成本约为 $0.01-0.05 / 页，属于一次性投入。提取延迟约 2-5 秒 / 页，需配置 GPU 加速的异步工作队列。监控指标应包括提取队列深度、GPU 利用率和提取失败率。
检索延迟预算：多索引并行检索会增加查询延迟，建议设置严格的超时阈值（如 500ms），采用快速剪枝策略在超时前返回已收集的结果。对于 ColPali 索引，MaxSim 计算可优化为近似搜索，在精度损失可接受范围内换取速度。
关键监控指标：
- 跨模态检索成功率（各模态结果占比是否均衡）
- 图像内容提取准确率（通过人工抽样或 VLM 自评估）
- 端到端查询延迟 P99
- 存储成本 / 百万页
- VLM 提取任务失败重试率
回滚策略：当视觉检索质量下降时，系统应能动态降级至纯文本检索模式。通过 Feature Flag 控制各模态索引的启用状态，确保在 embedding 模型更新或索引损坏时快速切换。
多模态 RAG 的图像索引已从早期的概念验证进入工程化落地阶段。从 CLIP 的统一嵌入到 ColPali 的 patch 级 Late Interaction，架构演进反映了业界对文档理解粒度需求的深化。在实际部署中，建议根据内容类型选择混合架构：文本密集型文档使用模态特定检索 + 融合模式，视觉密集型文档采用 ColPali 视觉优先模式，通过统一的查询路由层实现透明切换。
资料来源
内容声明：本文无广告投放、无付费植入。
如有事实性问题，欢迎发送勘误至 i@hotdrydog.com。