轻量级多任务文档解析模型的技术实践

一、问题背景：文档处理链路为何需要“单模型多任务”

传统文档智能系统往往由多个独立模块串联而成：版面分析负责切分区域，OCR引擎负责文字识别，表格识别模型单独处理结构化表格，公式识别模型再单独处理数学表达式，最后由规则或下游模型完成信息抽取。这种“烟囱式”架构存在三个明显痛点：其一，误差逐级累积，前序模块的切分或识别错误会直接传导至后续环节；其二，多模型部署带来显存与延迟开销，难以在边缘设备或高并发场景落地；其三，各模块的训练数据与优化目标彼此割裂，无法共享视觉与文本的联合表征。

因此，业界近年来的一个重要方向是构建统一的文档理解模型，用单一权重同时覆盖“文字感知—结构还原—语义理解”的完整链路。本文讨论的实践正是这一思路下的一款轻量级方案：参数量约0.8B，定位为同时支撑文档解析、关键信息抽取与OCR视觉问答三类任务。

需要说明的是，轻量级并不等于能力妥协。0.8B量级的模型若能通过高质量数据与合理的训练策略充分激发潜力，在多数文档场景下可以取得接近更大模型的实用效果，同时显著降低推理成本，这对企业级批量文档处理具有现实意义。

二、任务定义：三类能力如何统一到一个模型中

2.1 文档结构化解析

该任务要求模型对整页文档进行阅读顺序还原，识别正文段落、表格与数学公式，并以结构化格式输出。实践中原生支持Markdown与LaTeX等文本化表达：正文按阅读顺序组织为Markdown段落，表格转为Markdown表格或HTML结构，公式以LaTeX表示。这种输出形式的优势在于可被下游系统直接解析，无需额外的格式转换层。

2.2 关键信息抽取

面向发票、收据、卡证与业务表单等场景，模型依据用户指定的字段集合，在文档中定位对应内容并输出JSON结构。例如给定“发票号码、开票日期、金额”等字段名，模型直接返回字段与值的映射。这一能力的关键在于将“抽取”转化为“条件生成”问题，使模型具备按需检索的灵活性，而非依赖固定模板。

2.3 OCR视觉问答

区别于纯文字转写，视觉问答允许围绕文档与图表内容进行跨区域检索、数值计算与语义推理。例如询问“表格中第三季度环比增长多少”，模型需要定位相关单元格、完成计算并给出答案。这要求模型不仅识别文字，还要理解版面中元素的空间与语义关系。

三类任务的统一，本质上覆盖了从底层文字感知到高层内容理解的链路，共享同一套视觉编码与语言解码参数。

三、数据工程：异构专家共识与闭环校验

轻量级模型要在多任务上取得竞争力，数据质量的重要性甚至高于模型结构。该实践在数据侧采用了两项关键机制。

3.1 异构专家共识标注

对于正文、表格、公式等不同区域，由多个异构的OCR专家模型分别输出候选结果，再通过交叉校验与投票筛选出高置信标注。不同专家模型在字体、版式、退化条件下的偏好不同，投票机制能够有效抑制单一模型的系统性偏差。其工程要点在于：

• 按区域类型路由到相应的专家集合，避免“一刀切”投票；
• 对分歧较大的样本打标为困难样本，进入后续定向优化；
• 保留置信度分数，供训练阶段做样本加权。

3.2 预测—重渲染—视觉比对的闭环校验

针对复杂表格与公式，单纯的文本比对难以发现行列错位或符号缺失。该实践引入了闭环校验流程：将候选解析结果重新渲染为图像，再与原始文档对应区域做像素级与结构级比对，定位差异后定向修正标注。伪代码示意如下：

def closed_loop_verify(region_image, candidate_struct):
    rendered = render(candidate_struct)          # 结构重渲染为图像
    pixel_diff = compare_pixels(region_image, rendered)
    struct_diff = compare_structure(region_image, rendered)
    if pixel_diff > THRESH or struct_diff > THRESH:
        return locate_and_fix(region_image, candidate_struct)
    return candidate_struct

这种“渲染回环”把标注质量从“文本看起来对”提升到“视觉上一致”，对表格合并单元格、公式上下标等易错结构尤为有效。

此外，数据侧还按版面复杂度、字体形态与物理退化因素合成困难样本，补充多语种、古籍手写、屏幕摩尔纹与扭曲光照等长尾数据，以提升真实采集条件下的鲁棒性。

四、训练策略：三阶段渐进式优化

该方案的训练分为三个阶段，层层递进。

第一阶段：文本锚定预对齐。 通过掩码机制强化视觉局部区域与文字Token之间的空间对应关系，使模型在早期就建立“看到哪块区域、对应哪些字符”的映射，为后续多任务学习打下基础。

第二阶段：OCR持续预训练。 以百亿级Token的多任务混合数据打底，混合文档解析、抽取与问答样本，让模型在同一目标下学习不同输出格式的生成规律。

第三阶段：混合任务强化学习。 在困难样本上使用可验证的奖励信号进行优化，包括结构编辑距离、表格匹配度与问答准确率。相比纯监督学习，可验证奖励能更直接地约束输出结构的正确性，减少“内容对但格式错”的情况。

五、评测表现与工程启示

在模拟扫描、纸张弯曲、屏幕翻拍、光照变化与倾斜拍摄五种真实采集方式构成的评测集上，该模型取得95.24分；在综合文档解析基准上得分96.83分，位列总榜第二，与榜首差距仅0.04分，在1B以下参数模型中排名第一。专项能力方面，数学公式识别基准得分97.84分，表格结构识别基准得分92.27分；古籍与书法评测集得分73分，与部分更大规模闭源模型处于同一水准。文档理解方面，在五项视觉问答基准上平均得分83.2分。

这些结果带来几点工程启示：

1. 数据质量优先于参数规模。 在0.8B量级上，专家共识标注与闭环校验带来的收益，可能超过简单扩大模型；
2. 可验证奖励适合结构化输出任务。 表格与公式的正确性可被程序化度量，强化学习在此类任务上性价比高；
3. 长尾数据决定真实场景上限。 摩尔纹、扭曲光照、手写古籍等样本虽少，但对实际采集环境的泛化至关重要；
4. 统一模型降低链路复杂度。 单模型多任务减少了模块间误差传导与部署开销，便于在对象存储触发的批量处理流水线中横向扩展。

六、落地建议

对于计划构建类似文档处理能力的企业，可参考以下实践路径：先以通用多任务模型作为基线，在自有业务数据上做小样本微调；对抽取任务采用“字段名+文档图像”的条件生成范式，避免为每个模板单独训练；在推理侧对长文档做分页并行，并对结构化输出做schema校验与失败重试。通过将模型能力嵌入既有的存储、消息队列与监控告警体系，可较快形成端到端的文档自动化处理闭环。