PDF为何难倒RAG：四类文档解析方案对比

rag-rag-">一、对比背景：为什么“文档进RAG”比“网页进RAG”难

在RAG（检索增强生成）系统中，分块质量直接决定检索质量，进而决定最终回答质量。而企业知识库的现实情况是：堆积如山的往往不是结构清晰的网页，而是PDF、扫描件以及各类办公文档导出的文件。

这些文档有一个共同出身：它们是“呈现格式”（presentation format），而不是“语义格式”。以PDF为例，文字在文件内部是按几何坐标摆放的，并不按阅读顺序存储；表格本质上是一串带坐标的字符，行列关系只存在于人的视觉理解中。这也解释了一个常见现象：把PDF里的表格复制粘贴到电子表格工具中，得到的常常是一堆散乱的文字碎片，数字和标题对不上号——这不是软件的bug，而是格式天生如此。

因此，本文明确对比的对象是两个层面：

1. 语义格式（以网页HTML为代表）与呈现格式（以PDF为代表）在RAG处理链路上的本质差异；
2. 针对呈现格式文档，四类主流解析与分块方案的差异与选型：规则式文本抽取（下称方案A）、版面分析模型（方案B）、智能体式分块（方案C）、基于多模态转换的文档感知分块（方案D，参考自某AI服务团队近期论文的思路，做中立化归纳）。

二、对比对象定义

对象一：语义格式 vs 呈现格式。 网页由HTML编写，标题、段落、列表、表格都有明确的标签结构，机器可以按语义层级直接解析。PDF等呈现格式则以“还原视觉版面”为目标，机器拿到的是带坐标的字符流，语义结构必须额外推断。

对象二：四类文档解析分块方案。

• 方案A：规则式文本抽取。 使用通用PDF解析库按坐标提取文字与表格，无需模型，速度最快。
• 方案B：版面分析模型。 用专门的文档版面理解模型识别标题、段落、表格等区域及层级关系，输出结构化区域。
• 方案C：智能体式分块。 让大语言模型直接阅读抽取出的文本，重新组织成语义连贯的知识块。
• 方案D：多模态转换式文档感知分块。 先将文档页转换为图像，借助多模态大模型的视觉理解能力读取版面；其关键设计是沿用“贴ID标签”思路——不让模型重写内容，只让它为已有文本段落分配语义块编号。

三、相同点分析

四类方案技术路径不同，但存在明确共性：

1. 目标一致：都是为了把文档切成语义完整、适合向量检索的知识块；
2. 管线位置一致：都位于RAG链路最前端（解析→分块→向量化→索引），下游检索与生成组件不变；
3. 共同难题一致：多栏排版、跨页表格、字号字体混杂的标题层级，是所有方案都要面对的“硬骨头”；
4. 都存在成本与质量的权衡：对文档理解得越深，通常意味着算力消耗与延迟越高，区别只在于权衡点落在哪里。

四、核心差异分析

1. 结构信息的获取方式：猜、认、脑补、看

• 方案A从坐标“猜”结构：阅读顺序靠坐标排序推断，多栏排版一读就串行；表格读出来是网格状数字，单元格一旦脱离行列标题，语义完全不可理解。
• 方案B用训练好的模型“认”结构：对版面规范的文档效果尚可，但对宣传单页、条款类等排版不按常理出牌的文档容易失效；表格提取后仍是二维网格，行列的语义关联还需二次处理。
• 方案C让大模型从乱序文本“脑补”结构：输出质量被前置抽取质量封顶——如果输入已经串行错乱，模型可能重组出错误语义，甚至产生幻觉内容。
• 方案D让多模态模型“看”结构：页面转成图像后，标题层级、多栏顺序、表格行列关系在视觉上是天然完整的，模型按视觉理解做切分决策，从根本上绕开了“文本流乱序”问题。这一步多模态转换是它的分水岭：一次转换，即可覆盖PDF、扫描件、办公文档导出件等多种来源。

2. 输出方式与成本结构

方案C的典型做法是让模型重新生成文字内容，输出token量大，成本与延迟都高。方案D的关键技巧是只贴标签、不重写：模型仅输出“哪几段归为同一个知识块”的ID编号。这类标签化思路在此前面向网页的同类方案中已得到验证——论文报告的数据显示，其输出token减少84.6%、成本降低51.7%、延迟减少约60%。方案D将该思路迁移到文档场景，在获得版面理解能力的同时保住了成本优势。

3. 内容忠实度与可控性

方案A、B输出的是原文，不存在改写失真，但可能结构错乱；方案C存在内容被改写甚至虚构的风险，企业知识库场景对此尤为敏感；方案D保留原文、只做切分决策，忠实度与方案A/B相当，而结构理解力接近方案C，属于两类优点的组合。

4. 鲁棒性与适用文档范围

方案A适合文本层完好的常规PDF；方案B对版面风格敏感；方案C对输入质量敏感；方案D依赖多模态模型的视觉理解能力，对扫描件、复杂版面、混合排版文档的适应性最好，但单页推理成本高于方案A、B。

5. 接入与工程复杂度

• 方案A：接入最简单，适合快速搭建原型；
• 方案B：需部署版面模型，涉及模型选型、推理服务运维；
• 方案C：需调用大模型，主要工作量在提示词设计与输出校验；
• 方案D：链路最长，涉及页面转图像、多模态调用、ID聚合回写等组件，示意流程如下（伪代码，不依赖任何特定工具）：

for page in document.pages:
    page_image = render_to_image(page)            # 页面转图像，保留原始排版
    layout     = multimodal_model.read(page_image, page.text_layer)
    block_ids  = multimodal_model.assign_ids(layout)  # 仅输出ID标签，不重写文本
chunks = group_by_id(page.text_segments, block_ids)   # 按ID聚合原文，生成知识块

好在每个环节都是通用能力，云上基础设施（如百度智能云提供的文档解析、多模态大模型调用与知识库/RAG构建等通用能力）均有对应支撑，可显著降低自建工程量。

五、对比表格

维度	方案A 规则抽取	方案B 版面模型	方案C 智能体分块	方案D 多模态转换分块
结构来源	坐标推断	模型识别	从乱序文本重组	视觉理解
多栏/表格	易串行、表格失义	常规版面尚可	受输入质量拖累	视觉上天然完整
是否改写原文	否	否	是（有幻觉风险）	否（仅输出ID标签）
token成本	极低	低	高	中低
延迟	最低	低	高	中
扫描件支持	弱	中	中	强
工程复杂度	低	中	中	中高
典型适用	简单文本型PDF	版面规范的批量文档	小规模、预算充足	表格密集的复杂知识库

六、典型场景选择

1. 版面规范的合同、公告类PDF大批量入库：方案A/B配合规则校验，性价比最高；
2. 费率表、产品手册、条款类等表格密集文档：优先方案D，其次是方案B加表格语义补全；
3. 文档量小、模型预算充足：方案C可行，但必须增加幻觉校验环节；
4. 扫描件占比高的档案库：文本抽取基本失效，应选择带OCR与多模态能力的D类管线；
5. 快速原型验证：从方案A起步，再按检索质量瓶颈逐步升级。

七、选型建议

• 先做文档画像：统计文本层完好率、表格占比、版面复杂度，再定方案，不要凭感觉选型；
• 质量优先选D，成本优先选A/B，中间态可用“方案B+大模型校验”过渡；
• 无论选哪种方案，都应建立分块质量评估集，用检索命中率与回答准确率做回归验证；
• 自建能力有限时，可评估云上托管服务（如百度智能云的文档智能解析、多模态模型、知识库构建等通用能力），把工程复杂度交给平台，把质量标准留在自己手里。

八、迁移与使用注意事项

1. 索引一致性：切换方案意味着分块边界变化，已建向量索引需全量重建，召回结果会出现漂移，建议灰度双跑对比后再切流；
2. 接口适配：标签化方案输出的是ID与块编号，下游分块管道接口需要相应改造；
3. 成本测算：多模态调用通常按页计费，大文档库应先小样本测算单位成本再放量；
4. 安全合规：文档转图像与模型调用环节需评估数据脱敏、私有化部署等选项；
5. 版本管理：解析管线每次升级都应留存版本，便于回溯检索质量变化并支持回滚。

九、总结

PDF难倒RAG，根源在于呈现格式与语义格式之间的鸿沟：人眼一眼看懂的行列与层级，机器要从坐标字符流里重建。四类方案对应四条重建路径——猜结构、认结构、脑补结构、看结构。规则抽取与版面模型胜在便宜稳定；智能体分块灵活但成本高且有失真风险；基于多模态转换的文档感知分块，通过“一次转换读版面+标签化输出控成本”的组合，在结构理解与成本之间取得了更好的平衡。正确的选型姿势不是押注某一种方案，而是基于文档画像、质量要求与预算，构建可评估、可灰度、可回滚的分块管线。