简介:文档图像分辨率高、版面复杂、文本密集,解析既要布局准确,也要局部识别可靠。本文对比“分模型两阶段”与“同模型提示引导两阶段”,说明两者在架构边界、计算开销、精度与幻觉风险上的异同,并给出按文档类型、时延和运维条件选型的判断方法。
高分辨率文档解析要同时解决三件事:看清整页结构、读准局部文字与符号、把结果组织成可下游使用的结构化内容。端到端视觉语言方法语义能力强,但整页高分辨率直接送入模型时,计算开销大,长文档还容易出现漏读、串读或与版面不一致的生成。行业里因此形成由粗到细的两阶段思路:先做全局布局,再做局部内容识别。
本文对比的对象是同一问题下的两种实现方式,而不是某一具体产品:
两者都试图避开“整页高分辨率端到端一次推理”的成本与幻觉问题,但系统边界、数据要求和工程复杂度并不相同。
文档图像相对自然场景图像,像素更多、文字更密、表格公式与多栏混排更常见。难点可以归纳为:
方案A把“找区域”和“读内容”拆成两条模型链路,各自可以按任务做专门训练与加速。方案B把拆分放在推理流程和提示上:同一套权重先看缩小后的全局图,再看高分辨率局部图,用裁剪保留原始清晰度,用下采样控制第一阶段成本。
方案A的边界清晰:检测器输出框与类别,识别器消费裁剪图和可选的类别提示。模块可独立替换、独立扩缩容,故障也更容易定位。代价是两套权重、两套预处理和两套版本节奏,接口契约必须稳定,否则框的坐标系、类别枚举或图像裁剪策略稍有偏差,后级就会系统性读错。
方案B的边界在“同一骨干、不同提示、不同输入尺度”。结构上往往直接采用通用视觉语言骨干:视觉编码、语言解码、以提示约束任务。优点是参数与部署单元更集中,布局与识别共享视觉表征,减少“检测会了、识别词表对不上”的割裂。缺点是一个模型要同时胜任检测式输出和密集文本输出,提示设计、输出格式约束和任务切换的稳定性会成为新的系统边界。
方案B的典型计算路径可以概括为:
page = load(image)thumb = downsample(page, scale)layout = model(thumb, prompt="detect layout")crops = []for region in layout:crop = page[region.box] # 取自原始分辨率text = model(crop, prompt=region.task_prompt)crops.append(align(region, text))return merge(crops)
第一阶段用缩小图换全局速度,第二阶段用局部窗口换精度。方案A的数据流相似,但 model 在两阶段不是同一个权重,提示词的作用通常更弱,任务差异更多体现在网络头和训练目标上。
因此:方案B更省“多模型常驻显存”和权重切换成本,但单次骨干若偏大,两阶段都要付一次前向;方案A可以让布局模型很小、识别模型按区域类型分流,峰值显存和平均时延取决于分流是否做得好。具体吞吐、延迟必须以自有数据压测为准,不宜套用外部榜单数字做容量规划。
端到端长生成的典型风险是:版面看偏后仍“补全”出看似通顺的句子。两阶段都能缓解这一点,因为生成被限制在裁剪窗口内,证据更局部。
方案B进一步把全局阶段限制在下采样图上,布局只要求结构,不要求逐字。细笔画、小字号、印章和公式细节留给原分辨率窗口。这种解耦通常有利于密集页面,但下采样比例过大时,细分割线、窄栏和页眉页脚可能在第一阶段丢失,第二阶段无从裁剪。方案A若使用专用检测头,小目标召回有时更可控;若检测器与识别器训练分布不一致,则会出现“框对了但识别模型不认识该版式”的缝隙。
幻觉并未消失:局部窗口内仍可能把模糊字形生成成熟悉词,表格单元格仍可能串列。需要置信度、词典或版面约束做校验,而不是假定两阶段等于零幻觉。
方案A往往要分别准备检测标注和识别标注,甚至按印刷体、手写、表格再分子模型,数据工程是多任务并行的。方案B更强调统一样本格式:同一图像、不同提示、不同监督目标(框序列或文本序列)。数据配比若偏向某一种提示,另一任务会退化。类别体系、阅读顺序定义、裁剪扩边像素,都必须在训练与推理中一致。
| 维度 | 方案A 分模型两阶段 | 方案B 同模型提示两阶段 |
|---|---|---|
| 部署单元 | 至少两套模型与两套接口 | 通常一套权重、多种提示 |
| 版本升级 | 可单模块替换,需回归契约 | 一次升级同时影响布局与识别 |
| 提示与输出协议 | 协议以框和类别为主 | 提示词、解码格式、停止条件都影响结果 |
| 资源形态 | 小检测器加大识别器,可异构扩缩 | 骨干常驻,两阶段复用,显存更集中 |
| 故障定位 | 模块边界清楚 | 需区分是提示、尺度还是解码问题 |
| 人力成本 | 多模型训练与联调 | 数据配比、提示和后处理更关键 |
| 长期维护 | 组件多但可局部优化 | 组件少但回归面更广 |
成本上,没有统一价格结论。分模型可能增加机器与人力的“套数”,同模型可能增加单卡显存和每次升级的全量回归。选型应比较峰值并发、单页时延预算和团队能否维护多套权重。
文档常含合同、票据和个人信息。无论哪种方案,都应默认:传输与存储加密、访问控制、审计日志、结果与原图的最小权限。模型输出不能直接当作合规结论。低置信区域应保留原图坐标供人工复核,而不是静默改写。
不适合单独依赖这两类自动解析的情况包括:法律效力文本的无复核归档、严重模糊或拍摄畸变页面、强依赖跨页指代的长文档、以及版式超出训练分布的特种票据。此时应降级为人工或规则校验,而不是加大生成长度硬解。
条件化判断是:团队运维能力有限、版式差异大时,同模型两阶段往往更易收敛到一条发布链路;已有成熟检测器和识别器、且二者接口稳定时,分模型两阶段更容易做局部性能压榨。没有一种方案在所有分辨率、所有并发下都更合适。
从端到端整页生成迁到两阶段,或在A与B之间切换,建议按下面核对,而不是只替换模型文件。
示意性的选择逻辑可以写成:
if layout_variety is high and ops_prefers_single_artifact:choose same_backbone_two_stageelif detectors_and_recognizers_already_stable:choose split_model_two_stageelse:benchmark on own pages for latency, layout_f1, text_accuracy, review_rate
这里的“评测”应使用自有版式分布,外部公开集只能作参考,不能代替业务页。
两种方案的共同点,是用全局布局和局部高分辨率识别拆开文档解析,从而同时照顾结构与清晰度。差别在于任务分离发生在模型之外还是模型之内:分模型两阶段以接口和专用头换来独立优化与清晰排障;同模型提示两阶段以统一骨干、不同提示和由粗到细的尺度策略,换来更集中的参数与部署,同时把提示、下采样比例和输出约束变成关键风险点。
选型时先看版式是否稳定、能否维护多套模型、单页时延和复核率哪一个更紧,再用自有样本比较布局召回、文本准确率和长尾时延。在这些条件说清楚之前,不宜把任何一种两阶段架构当成普遍更优的默认答案。