简介：文档解析质量正成为RAG系统落地成败的“隐形天花板”。本文从解析层切入，分析传统OCR在复杂版面、表格与扫描件上的失效机制，梳理新一代视觉语言模型如何将“文字识别”重构为“面向大模型的视觉上下文压缩”，并给出可落地的解析效果评估方法与工程优化策略。
很多团队在构建检索增强生成系统时，习惯把主要精力放在三个环节：向量库选型、召回策略调优、提示词工程。这些固然重要，但它们都建立在一个隐含假设之上——进入检索流程的文本是干净、完整、语义可读的。
现实往往相反。企业知识库中最具价值的资料，大量以PDF、扫描件、传真归档、合同影印、财报排版文件等形式存在。页面里同时包含多栏正文、复杂表格、图表注释、页眉页脚、水印和跨页段落。传统解析链路通常先做版面切分，再做文字识别，最后按坐标拼接文本。这条链路对“白底黑字、单栏线性排版”的文档尚可应付，一旦遇到财务报表、法律协议、技术手册、医学报告等真实业务文档，输出的文本就常常退化为难以理解的语言碎片。
问题并不出在大模型本身。即使是能力很强的生成模型，如果输入上下文中只有残缺的表格数字、被截断的句子、错位的脚注和丢失的图表关系，也无法凭空重建原始语义。此时系统表现出的“不知道”“无法回答”“信息不足”，本质上不是推理失败，而是解析失败。
这也解释了一个常见现象：同一个RAG流程，在公开的纯文本测试集上效果很好，一换成企业真实PDF就明显退化。因为前者绕开了解析层，后者把解析层最脆弱的一面暴露了出来。
传统OCR的底层逻辑是将页面视为像素阵列，先检测文字区域，再逐行识别字符，最后输出带坐标的文本序列。这套思路在印刷体识别任务上已经非常成熟，但它在复杂文档场景中面临几个难以通过简单调参解决的局限。
第一，版面理解与文字识别是割裂的。传统流程中，版面分析模型负责判断“哪里是表格、哪里是正文”，OCR模型负责“把区域内的像素转成字符”。两个阶段各自优化，缺乏统一的语义目标。表格中的跨行跨列结构、合并单元格关系、表头与数据行的对应关系，很难在后续拼接中完整还原。
第二，阅读顺序恢复高度依赖规则。单栏文档可以按纵坐标排序，双栏、三栏、混排版式则需要复杂的启发式规则。一旦页面中包含侧栏说明、图片环绕、表格穿插，规则就容易失效，生成错误的文本顺序，进而破坏段落的逻辑完整性。
第三，表格与图形信息被严重降维。传统OCR输出的是一串字符，不保留表格的二维结构。即使能识别出数字，也可能丢失“数字属于哪个科目、哪个期间、哪一列单位”等关键语境。对于财报分析、合同条款比对等任务，这种信息丢失是致命的。
第四，扫描件质量波动大。模糊、倾斜、印章遮挡、底纹干扰、复印件二次退化等都会显著降低识别准确率。传统方案通常需要针对不同扫描质量做大量图像预处理，但预处理本身也可能引入额外信息损失。
最终结果是：解析环节输出的不是“可被大模型理解的上下文”，而是“人类可能勉强看懂的文本堆”。下游模型再强，也只是在处理一堆已经损坏的原料。
近期出现的新一代视觉语言模型，在文档解析上呈现出完全不同的技术路径。它们不再把OCR当成一个独立的字符识别任务，而是让模型同时理解页面图像的视觉布局与语义内容，直接输出结构化、面向大模型友好的文本表示。
这一类模型通常采用“视觉编码器 + 语言解码器”的架构。视觉编码器对整页图像进行高分辨率切块扫描，将不同位置、不同尺度的视觉特征映射到统一的语义空间；语言解码器则根据视觉特征生成自然语言序列。最关键的是，这种生成不是逐行“看图识字”，而是带着语言建模目标去理解整页内容。
一个典型表现是模型对表格的处理方式。传统OCR输出的是零散数字和分行文字，新一代模型则倾向于输出类似Markdown表格的结构化文本，保留行与列的对应关系。更进一步的模型甚至能够解释图表：当页面中嵌入柱状图或折线图时，它可以输出曲线的趋势描述、关键数据点以及图表与正文之间的关联。
从这个角度看，新一代OCR本质上做的是“视觉上下文压缩”。它将一张高信息密度的页面图像，压缩成一段信息密度极高、语言结构清晰、可直接进入大模型上下文窗口的表示。压缩的目标不是“尽可能还原所有字符”，而是“尽可能保留对下游推理最有用的语义结构”。
新一代视觉语言模型之所以能在复杂文档上显著优于传统方案，并不只是因为参数量更大，而是因为几个架构性变化共同作用。
第一个关键变化是整页视觉编码，而非行级图像裁剪。传统OCR通常先检测文字行，再对每一行做识别。这种行级处理天然割裂了上下文关系。新一代模型将整页图像切分成较大的视觉块，块与块之间保留空间位置编码，使得模型可以同时看到表头、数据行、脚注和图例之间的空间关系。正因如此，模型才能理解“左上角是公司名称，右上角是报告期间，中间表格数据对应的单位标注在下方注释中”。
第二个关键变化是视觉特征与语言建模目标的对齐。模型在训练阶段不仅学习“图像中有什么字”，还学习“如何用结构化语言把图像内容表达清楚”。这让模型在遇到复杂表格时，不仅识别单元格中的文字，还会推断表格的结构语义，例如哪些列是维度、哪些列是度量、表头是否分层次、是否存在合计行等。
第三个关键变化是混合分辨率感知能力。复杂文档中，正文可能是小字号，表格数字密集，图表信息分布在不同尺度。新一代模型通常采用多分辨率视觉编码策略，在保持较高细节识别能力的同时，兼顾整页布局理解。这使得模型在面对A4幅面的密集版式时，能够比固定低分辨率输入的方案保留更多有效细节。
引入新一代解析能力后，团队需要建立一套区别于传统OCR评估的指标体系。传统OCR评估通常看字符准确率或行识别准确率，这对RAG场景并不完全够用。更贴近实践的做法是从三个维度评估解析质量。
第一是版面结构保留度。将解析结果与原文对比，检查标题层级、段落边界、表格行列表头、列表项结构是否被正确表示。可以使用人工抽查结合规则脚本的方式，对Markdown输出做结构校验，例如统计表格是否闭合、表头行是否完整、跨页表格是否出现重复表头等。
第二是语义可检索性。将解析后的文本切块并写入向量库，基于预先构造的典型业务问题进行检索测试。如果召回的文本块能够覆盖回答所需的关键事实，则说明解析结果对下游检索是友好的；反之，即使文本字符看起来正确，只要切块错误或表格关系丢失，召回质量也会下降。
第三是大模型可回答性。把解析后的上下文直接提供给生成模型，检查模型能否准确回答问题、引用具体数据、解释表格含义。这个指标最接近真实使用效果。例如，针对财报PDF的一个段落，若模型能正确回答“某项业务毛利率同比上升了多少个百分点”，说明解析链路已经把表格、单位和时间维度完整传递给了模型。
即使使用新一代视觉解析方案，实际业务场景中仍然会出现失败。归纳起来主要有四类。
第一类是跨页长表格断裂。当一个财务表跨越多页，每页包含不同期间列时，模型如果按页独立解析，就可能把第二页的表格当成新表处理，丢失第一页的表头语境。解决方案一般是在解析前对PDF做逻辑分页识别，或者在解析后基于表头特征做跨页表格合并。
第二类是扫描质量极端退化。严重倾斜、折叠阴影、印章与正文大面积重叠的扫描件，仍可能使视觉编码器无法稳定识别。此时需要前置图像增强步骤，但增强策略应尽量保守，避免过度二值化造成文字笔画断裂或表格线被抹掉。
第三类是图形信息无法进行语义表达。部分页面包含复杂流程图、手写批注、多层嵌套图表，虽然模型可以描述大致内容，但可能遗漏关键节点或误读连接关系。对于这类文档，建议保留原始图像作为辅助证据，在RAG流程中同时提供解析文本和原图引用，让下游生成模型在必要时结合图像回答。
第四类是语言混合与专有名词问题。中英文混排、财会术语、内部业务代号等场景中，模型可能出现识别正确但语义归并不准确的情况。实践上可以通过术语表注入、解析后纠错或对关键字段进行规则校验来缓解。
从工程视角出发，将新一代视觉解析能力引入RAG系统，不应简单地替换OCR调用，而应围绕解析层重新设计数据加工流程。
在解析前，建议对PDF页面做适度预处理，包括去除扫描噪点、校正明显倾斜、检测页面方向。对于包含扫描图和文字层的混合PDF，可以优先使用内置文字层做快速定位，再对关键复杂区域使用视觉解析，兼顾速度与质量。
在解析中，采用分页批量处理，并对超长页面使用重叠滑动窗口，避免因图像裁切导致的行列信息丢失。解析输出格式建议标准化为Markdown或JSON，便于后续切块、元数据标注与表格字段抽取。
在解析后，需要对输出做结构化校验与统计。例如检测表格语法完整性、标题序列是否连续、输出中是否出现明显乱码或重复段落。对于跨页表格，可以在元数据中记录“起始页—结束页—表头签名”，帮助后续合并。
在RAG流程中，建议同时保留结构化文本与原始页面图像引用。当用户问题涉及具体表格或图形时，系统可以先从结构化文本中定位相关页码，再把对应页面图像作为视觉上下文一并提供给生成模型，以获得更高的回答准确性。
文档解析的演进正在经历一次语义层面的跃迁。过去，我们衡量解析能力的标准是“字符识别准不准”；今天，真正关键的判断标准已经变成“解析结果能否被大模型直接、准确、完整地理解”。
尤其在RAG系统中，解析层不再是一个可被忽视的前置步骤，而是决定知识能否被有效利用的基础环节。对于企业而言，如果知识库的原始价值存在于大量复杂版面PDF与扫描件中，那么解析层的能力上限，往往就直接决定了整个智能知识系统的实际效果上限。
将OCR视为面向大模型的视觉上下文压缩器，不仅是一种技术定义上的升级，也提示了工程优化的方向：我们应该从下游模型的阅读需求出发，反向设计解析输出的结构与语义精度，而不是继续在传统字符识别的指标上做局部改进。真正好的文档解析，不只是让机器“看得清”，更要让下游模型“看得懂”。