简介:大模型看不懂复杂文档,根源不在“智商”而在“视力”——它消费的是token流而非版面结构。本文从文档解析的技术定位出发,剖析表格跨页、扫描件失真、溯源缺失三大翻车场景的根因,给出结构化解析的通用实践方法,并探讨从“文档可读”到“知识可信”的工程化路径,帮助开发者构建可靠的Agent文档处理管线。
如果你正在构建基于大模型的文档问答、知识库检索或办公自动化Agent,下面这些场景大概率不会陌生:
这些问题的根源不在模型的“智商”,而在“视力”。大模型消费的是token流,不是版面布局。它不理解表格的行列嵌套关系,不知道人类阅读时的视觉动线,更无法判断某个数字归属于哪个合并单元格。想让Agent真正干好文档处理的活,必须有人先把文档“翻译”成它能精确消费的结构化数据。
这也是文档解析(Document Parsing)从“OCR的衍生话题”一跃成为AI基础设施显学的原因——无论是RAG知识库还是办公Agent,谁也绕不开这一层。
文档解析的官方定位可以概括为“面向LLM与Agent的文档智能基础设施”。翻译成大白话:你丢给它一份复杂文档,它还你一份干净、一致、AI可直接消费的结构化数据(Markdown/JSON),下游接RAG知识库、Agent工作流、模型训练数据清洗,都可以直接使用。
在Agent生态中,它已经成为绕不开的常用组件。主流Agent编排平台、插件市场里都有文档解析能力的身影,每天提供一定额度的免费调用,个人开发者上手几乎没有成本。
更值得关注的是它在整个技术链路中的位置——它不是孤立工具,而是整条数据加工链路的底座:
这三层递进关系,本质上对应了文档智能从“看得见”到“看得懂”再到“用得上”的完整路径。
这是最典型也最致命的问题。一份三页的参数表,第一页末尾是表头,第二页继续数据行,第三页还有合并单元格的收尾。传统OCR或简单解析器会把每一页当作独立图像处理,输出时按页面顺序拼接文本。结果就是:第二页的数据行被错误地挂到了第一页的表头下,第三页的合并单元格内容直接丢失归属。
根因:解析器缺乏跨页表格的语义合并能力,不理解“这张表还没结束”。
扫描件没有文本层,只能靠OCR识别。低质量OCR在遇到模糊、倾斜、印章遮挡时,会输出乱码或空值。如果直接把OCR结果喂给模型,模型面对不完整的上下文,要么选择“摆烂”,要么基于语言模型的先验知识“脑补”出看似合理但完全错误的数据。
根因:OCR质量不过关,且缺乏对低置信度结果的标注与过滤机制。
当用户问“这个数字是从哪来的”,模型只能回答“根据文档内容”。这在企业场景中是不可接受的——合规审计、财务核对、法律审查都要求精确到页码、段落、单元格级别的溯源。
根因:解析输出的结构化数据中,没有保留原文坐标映射关系。
高质量的表格解析需要做到:
以JSON输出为例,理想的表格解析结果应类似:
{"table_id": "tbl_001","headers": ["参数名称", "规格", "单位", "备注"],"rows": [{"参数名称": "工作电压", "规格": "220", "单位": "V", "备注": "±10%"},{"参数名称": "功率", "规格": "1500", "单位": "W", "备注": "额定"}],"source": {"page": 2, "bbox": [120, 340, 560, 720]}}
文档不是纯文本流,而是二维版面。版面分析需要识别:
只有还原了版面结构,才能把文档转换成模型能理解的线性token序列,同时不丢失语义层次。
在解析阶段就建立“结构化数据→原文坐标”的映射关系。当模型引用某个字段时,可以通过映射关系反查到原文的页码、坐标区域,甚至高亮显示。这是企业级文档Agent的刚需能力。
文档解析只是第一步。要让Agent真正用好文档,还需要完整的工程化链路:
| 层级 | 目标 | 关键能力 |
|---|---|---|
| 深度解析 | 文档可读 | 版面分析、表格重建、OCR、溯源映射 |
| 文档工作流 | 字段可用 | 拆套分类、字段抽取、校验审核、人工复核 |
| 知识服务 | 知识可信 | 可检索、可理解、可追溯、多Agent共享 |
深度解析层解决的是“看得见”的问题——把PDF、图片、扫描件变成结构化数据。
文档工作流层解决的是“看得懂”的问题——在解析结果之上,针对业务场景做字段级抽取和校验。比如发票识别中,不仅要提取金额,还要校验金额与税额的逻辑关系。
知识服务层解决的是“用得上”的问题——把原始材料变成可检索、可理解、可追溯的业务知识,供给多个Agent共享使用。这相当于给企业内多个Agent装了一个共享的“记忆库”。
文档解析不是OCR的简单升级,而是Agent生态中不可或缺的数据层底座。它决定了Agent能否“看懂”文档,进而决定了整个文档智能应用的上限。从深度解析到文档工作流再到知识服务,这条工程化路径正在成为企业构建文档Agent的标准范式。下次给Agent喂文档前,先问问自己:解析这一关,过了吗?