简介:本教程面向正在搭建文档问答系统的开发者、算法工程师与技术负责人,讲解如何在切分之前保住文档的空间结构:先用版面分析定位正文、表格、插图等区域及其坐标,再按区域类型分派读取器,最后依据位置关系推断阅读顺序、完成图注与图片等区域关联。文中包含环境准备、分步实现、配置要点、结果验证与排查思路,帮助读者解决“检索到正确页面却给出错误证据”这类典型问题。
人读文档时,会自动完成一堆空间推理:把表格右侧的价格对回左侧的物品名称,把图片下方的小字认作这张图的图注,也能分清处于同一水平高度、却分属左右两栏的两段文字。
问题在于,目前多数文档摄取流程在切分(chunking)之前,会先把所有内容展平成一个字符串。字符一旦按某种线性顺序排好,原始二维布局中的信息就不可逆地损失了:表格的行列关系退化为一行行的文本,两栏正文被交织在一起,图表可能被整页跳过。
由此产生的典型故障是这样的:用户问“我们在运输标签上花了多少钱?”,答案确实写在原始文档里,但摄取时价格与物品名称脱离了对应关系,于是系统即使检索到了正确页面,交给大模型的也是一份语义错位的证据,最终回答错误。
本教程要完成的任务,就是把这套“先展平、再切分”的流程,替换为版面感知(layout-aware)的摄取流程,具体产出三项能力:
最终目标是:切分产生的每个块都携带可回溯的空间元数据,检索命中后能拼出上下文自洽的证据片段。
如果你处理的是排版简单、单栏单流、几乎不含表格和插图的纯文本或简单网页,那么常规展平流程的性价比更高,不必引入版面分析这一层。
准备一份贴近真实业务的复杂文档作为验证对象。建议包含以下特征,这样才能把问题暴露出来:
本文沿用示例文件 complex-report.pdf:共两页,第一页交替出现分栏正文与一个跨栏表格,第二页包含图表、图注以及图表之后的正文。
(left, top, right, bottom) 表示区域矩形。需要提前确认坐标原点位置——是从页面左上角起算,还是从左下角起算。不同工具链约定不同,一旦搞错,后续所有跨页对齐与关联判断都会整体镜像或偏移。做什么:不要写一个从 PDF 直接吐 chunk 的巨型函数。把摄取流程拆成互相独立、可单独测试的工作器:版面分析、文本读取、表格读取、图像与图注读取、阅读顺序编排、块序列化。
为什么:版面分析的产物(区域清单)应当成为整个流程的单一事实来源。后续所有读取器都消费同一份区域清单,按坐标各取所需,而不是各自去文件里重新解析一遍。
注意:先固定区域清单的结构再往下写。建议至少包含区域标识、类型、所属页码、边界框四个字段。这一步决定了后面每一步能不能互相引用。
做什么:对 PDF 执行一次原生版面分析。所谓“原生”,指直接读取文件内部的字符位置、线条(表格线)以及光栅图像的坐标,而不是先把页面渲染成图片再做视觉识别。这样做的好处是文本坐标天然精确,且不引入额外的识别误差与算力开销。
为什么:只有拿到精确坐标,才能可靠地做三件事——判断哪些区域处于同一水平带(从而发现分栏)、判断哪些区域被长线条包围(从而认定表格)、判断哪些区域是嵌入图像(从而不遗漏图表)。
示意性代码(类名、方法名均为占位,请以所用工具库的实际接口为准):
from layout_tools import NativeLayoutAnalyzer # 占位:原生版面分析器from collections import Counterworker = NativeLayoutAnalyzer()layout = worker.analyze("complex-report.pdf")print(layout.status) # 期望输出:successprint(len(layout.surfaces)) # 期望输出:2(页数)print(dict(Counter(r.kind for r in layout.regions)))# 期望输出类似:{'text': 22, 'table': 1, 'image': 1}for region in layout.regions:if region.kind in ("table", "image"):print(region.id, region.kind, region.bbox)# page-1-r8 table (48.0, 312.0, 564.0, 420.0)
注意:区域标识通常带有“页码-序号”形态,例如 page-1-r8。请保留这种带页码的标识,它是后续跨页关联与回溯引用的关键。边界框的宽度(右减左)若接近页面可用宽度,通常意味着这是一个跨栏元素——示例中的表格宽度约 516 个单位,明显横跨整个正文宽度。
拿到区域清单后,先做几项基础校验,确认分析质量再往下走:
success。如果出现降级或部分失败标志,必须先处理,否则后续区域清单不完整,问题会一路传染到检索层。做什么:以区域清单为索引,把不同类型的区域分派给对应读取器。
为什么:让每个读取器只处理自己擅长的类型,可以避免示例文档中最典型的一类错误——把同一张表同时送给文本读取器和表格读取器,导致同一份内容在向量库里出现两次,检索时互相挤占排名。
注意:分派必须严格按区域清单执行,不要再用“正则匹配文本里有没有制表符”这种启发式去猜测内容类型。同时,排除页眉页脚区域的任务也应在这一层完成,识别方式见步骤五。
阅读顺序推断的核心是:不能简单按坐标排序,必须先判断是否分栏。
通用做法分四步:
示意性伪代码:
def infer_reading_order(regions, page):body = [r for r in regions if r.page == page and r.kind not in ("header", "footer")]columns = detect_columns(body) # 返回 1 或 2 个横向区间if len(columns) == 1:return sorted(body, key=lambda r: r.bbox.top)ordered, pending = [], list(body)# 以跨栏元素为分隔,逐段处理“两栏并排”的区间for splitter in sorted([r for r in body if spans_all_columns(r, columns)],key=lambda r: r.bbox.top):band = [r for r in pending if r.bbox.bottom <= splitter.bbox.top]ordered += merge_column_band(band, columns) # 先左栏整段,再右栏整段ordered.append(splitter)pending = [r for r in pending if r not in band and r is not splitter]band = [r for r in pending if r.bbox.top >= 0]ordered += merge_column_band(band, columns)return ordered
重复页眉页脚的识别:把每页同一条带的区域文本做归一化(去空白、去页码数字),跨页统计出现频次。若某段文本在超过半数的页面重复出现,且位置带一致,就判定为页眉或页脚,在构建索引时排除,或合并为文档级元数据。这样能避免同一句“XX年度经营分析报告 第 N 页”反复命中检索,把真正的内容挤出召回结果。
做什么:在排好序的区域序列上,用相对位置关系补全语义归属。
为什么:向量检索的粒度是块,模型只能看到块内内容。区域关联的本质,是把“靠空间位置才能理解的隐含关系”物化成块内的显式文本。
做什么:把每个区域(或区域组)序列化为一个块,除正文外附带结构化元数据:区域标识、类型、页码、边界框、所属栏位、关联区域标识、文档标识。
注意:边界框一定要写进元数据而不是丢掉。它同时服务于三件事——问题定位、可视化调试、以及检索命中后的上下文扩展。切分大小建议按区域边界切,不要按固定字符数硬切表格,否则表头极易被切走。
做什么:检索命中某个块后,依据其区域标识与边界框,向前后取相邻区域,拼出一段上下文再交给模型。
为什么:这正是原始问题的解药。用户问运输标签的花费时,命中的可能只是表格中的一行“运输标签 420”。通过区域关联把表头与表标题带回来,模型才能确认这 420 确实是运输标签的金额,而不是别的列。
版面分析环节常见可调项,以及各自的取舍逻辑:
按顺序确认以下几项,任一项不符就不要往下推进:
展平是文档摄取流程中最容易被忽略、代价却最大的一步简化。本教程的核心思路可以概括为一句话:先建立版面映射,再消费版面映射。
关键落地顺序是:拆出独立工作器 → 执行原生版面分析拿到区域清单 → 校验区域覆盖与类型分布 → 按类型分派读取器并避免重复提取 → 做栏检测并推断阅读顺序 → 绑定图注与表标题、补齐表头 → 序列化为携带边界框元数据的块 → 检索命中后回传相邻上下文。
沿着这条链路,原本只能靠人眼完成的空间推理被显式地记录下来,价格能对上物品名称,图注能对上图片,检索到的证据从“同一页的文字”变成“语义自洽的片段”。后续可以继续深入的方向包括:更精细的阅读顺序模型、公式与脚注的结构化解析、跨文档的区域对齐,以及版面分析结果在多模态检索中的进一步利用。