简介:在大模型RAG中,文档里的图片与表格往往决定检索质量。本文对比OCR转文本、视觉语言模型生成描述、多模态向量混合检索三类入库路径,从上下文完整性、检索粒度、成本与适用场景拆解差异,帮助技术负责人判断何时保结构、何时保语义、何时上多模态,并给出条件化选型与迁移注意点。
在基于文档构建向量库的RAG流程里,纯文本切分与嵌入已经相对成熟,真正拉开效果差距的,往往是图片、示意图、复杂表格这类非文本信息。传统做法大致可归纳为三条路径:光学字符识别后转成文本再入库、用视觉语言模型生成自然语言描述再入库、以及用多模态嵌入把图文表映射到同一向量空间做混合检索。三条路都能跑通,但共同硬伤也很明确:一旦把版式对象“拍扁”,它与前后段落、跨页表格、图注约束之间的关系容易被切断,检索时只能命中孤立片段,无法还原“这张表是在论证上一节结论”这类结构语义。
本文对比的对象,就是上述三类非文本入库方案。它们都服务于同一目标:让问答系统在召回阶段“看得见”文档中的图与表。差异不在能不能用,而在信息损失发生在哪一层、补救成本落在哪一侧。
企业知识库常见材料是扫描件、设计说明、财务报表、产品手册。其中表格承担对比与约束,图片承担结构与流程。若入库时只保留正文,检索会系统性漏召回;若粗暴把整页当一张图,又会引入噪声、抬高延迟。因此需要在“可检索的文本化”和“可对齐的多模态表示”之间做权衡。
OCR转文本:先把图片中的文字、表格线框识别为字符流,再按段落或单元格切块、嵌入。解决的是“图里有字却检索不到”的问题,本质是把视觉信号降维成字符串。
视觉语言模型生成描述:对插图、流程图、复杂表截图调用多模态理解模型,产出一段自然语言摘要或结构化说明,再将该说明作为文本块入库。解决的是“没有可识别字符、但有语义”的示意图问题。
多模态嵌入混合检索:对文本块、图片、表格截图分别或联合编码,写入同一或可对齐的向量空间,查询时可用文本、图像或两者组合。解决的是“不想过早把模态压成一段话”的召回问题。
三者都发生在切分与嵌入之前或之中,都需要文档解析流水线(版面分析、阅读顺序、块元数据)。都依赖后续的重排序与引用展示来弥补召回误差。都无法单靠嵌入完全替代“表头—单元格—脚注”的结构约束,因此生产系统通常还要保留原始坐标、页码、父子块关系等元数据。
从架构看,OCR路径依赖版面分析加识别引擎,输出仍是文本索引,和现有RAG栈兼容最好。描述生成路径在解析后增加一次视觉推理调用,向量库仍是纯文本,但流水线多了模型服务与提示词治理。多模态路径要同时维护文本嵌入与图像/表格嵌入,检索层需融合分数、处理模态缺失与维度对齐,系统边界更宽。
从信息完整性看,OCR对扫描正文、规则表格较稳,但对合并单元格、跨页续表、仅靠颜色区分的图例容易错位;拍成Markdown后,跨表对比语义往往消失。描述生成能补“这张架构图说明了分层调用”,但描述是对原图的有损摘要,且与前后文的指代(“如下图所示”)容易断链。多模态嵌入保留更多视觉特征,有利于以图搜图或“找出和示意图同类的页面”,却不一定能精确回答单元格级事实,除非额外做结构解析。
从性能与成本看,OCR相对可控,适合大批量离线入库。描述生成对每张图一次推理,吞吐受视觉模型约束,描述质量还依赖提示词与审核。多模态检索在查询侧可能增加编码与融合开销,存储上图像向量通常更贵。运维上,前两者仍可用纯文本监控召回率;后者还要监控模态对齐漂移、空图、低分辨率截图等。
从安全合规看,三类都会把敏感图文送入处理链路。OCR与描述生成会把内容落成可检索明文,权限与脱敏要前移。多模态向量虽不直接存像素,但仍可能通过近邻泄露版式特征,访问控制仍须按文档级隔离。
| 维度 | OCR转文本 | VLM生成描述 | 多模态嵌入混合检索 |
| 适用对象 | 扫描正文、规则表 | 示意图、复杂版式、弱文字图 | 需跨模态召回的图文混排 |
| 上下文保留 | 弱,易成孤立单元格/段落 | 中,依赖描述是否引用上下文 | 较强视觉关联,结构语义仍需元数据 |
| 事实精度 | 识别准时单元格级较好 | 易概括、易幻觉细节 | 召回相关页强,精确取值弱 |
| 接入复杂度 | 低,贴近现有文本RAG | 中,增加推理与质检 | 高,双路索引与融合策略 |
| 运维重点 | 识别错误、阅读顺序 | 描述漂移、成本与延迟 | 对齐质量、存储与查询融合 |
| 不适合 | 无文字的概念图 | 必须逐格精确计算的报表 | 仅需关键字精确匹配的场景 |
政策扫描件、合同附件以文字为主:优先OCR,并保留表格的行列元数据,避免只存扁平Markdown。
产品白皮书中大量架构图、流程图:适合在OCR之外对图生成描述,描述中强制带上章节标题、图序号,减轻孤立化。
设计图纸与说明混排、用户可能“上传一张图找类似条款”:更需要多模态混合检索,但仍建议对关键表做结构抽取,形成“向量召回 + 结构化精读”的两段式。
资源与团队有限、先要上线问答:先OCR打底,对识别失败页再补描述,而不是一上来全量多模态。
若业务问题是“表里的数字必须答对”,不要只依赖任何一种嵌入,应在解析阶段做表格结构化,检索命中后再回表计算或模板填空。若问题是“用户描述一张图或一个流程”,描述生成或多模态更匹配。若文档以扫描正文为主、表格规则,OCR性价比最高。条件允许时,生产上常见的是分层:正文与规则表走OCR与结构解析,概念图走描述,少量高价值图再进多模态索引,用元数据把三者挂回同一文档树,避免“转换后关系断裂”。
从纯文本RAG迁到含图表处理,最大风险不是模型选型,而是切分策略变化导致旧向量与新块对不齐,需要按文档版本重建索引。接口上要统一块类型(text/table/image)、页码、bbox,便于引用高亮。权限必须在块级继承文档ACL。稳定性方面,识别与描述都是有损的,要抽样人工评测“跨表对比、图注约束”类问题,而不是只看通用问答分数。兼容性上,下游生成提示应明确告知模型:表格可能不完整、描述可能概括,要求不确定时引用原件位置而非编造单元格。
三类方案不是互斥产品,而是信息损失发生位置不同的技术选择。OCR保字符、丢版式关系;描述保可读语义、丢精确结构;多模态保跨模态相似、不一定保单元格事实。选型应看问题是“读字、读意还是对图”,并用文档树元数据把孤立转换重新接回上下文。这样,向量库里的图与表才不再是一段断开的说明,而是可追溯、可精读的知识对象。