0.8B 轻量文档理解模型：打通解析、抽取与视觉问答

一、背景：从”文字转写”到”文档理解”的鸿沟

传统 OCR 的定位是”文字转写”：输入一张图像，输出一串字符。但企业真实场景中要处理的是发票、合同、研究报告、业务表单这类”结构化文档”，仅把像素变成字符远远不够——表格的行列从属关系、数学公式的符号语义、段落之间的阅读顺序、字段与取值的绑定，才是业务真正需要的”理解”。

过去的主流做法是把多个专用模型串联成流水线：版面分析模型切分区域，OCR 模型负责认字，表格模型还原结构，抽取模型输出字段，再由通用大模型回答问题。这种架构有三个明显痛点：

• 链路长、误差逐级放大：上游切分出错，下游再强也难以补救；
• 部署与维护成本高：多个模型意味着多份权重、多套推理服务和多条升级路径；
• 信息割裂：每个环节只交付局部结果，跨区域的检索、数值计算与推理无从谈起。

行业近期给出了另一条路线：用一个不到 1B 参数的轻量统一模型，同时覆盖文档解析、关键信息抽取与 OCR 视觉问答三类任务，直接输出 Markdown、LaTeX 与 JSON 等结构化结果。近期某团队开源的 0.8B 参数模型是这一路线的代表案例，其权重与推理代码均已开放，具备可复现、可二次开发的条件。下文以该案例为线索，逐层拆解其技术构成。

二、任务定义：一个模型，三类输出

统一模型的第一步是把任务边界定义清楚，该案例将能力收敛为三类：

1. 文档解析：识别正文、表格与数学公式，按人类阅读顺序输出结构化结果，原生支持 Markdown 与 LaTeX 两种格式，可直接用于知识库构建与内容再加工；
2. 关键信息抽取：面向发票、收据、卡证和业务表单，依据调用方指定的字段清单定位内容并输出 JSON 等结构化数据，可无缝接入自动化处理流程；
3. OCR 视觉问答：允许围绕文档与图表内容进行跨区域检索、数值计算和语义推理，而不是仅做文字转写。

这三类任务恰好覆盖了”底层文字感知 → 中层结构还原 → 高层内容理解”的完整链路。对开发者的直接收益是：一次部署、一套接口，替代过去”版面分析 + OCR + 表格还原 + 字段抽取 + 问答”的多模型拼接。

三、数据工程：小模型的上限由数据质量决定

0.8B 参数的模型容量有限，无法靠”堆参数”取胜，数据侧的精细化才是真正的胜负手。该案例公开的做法有三点值得借鉴。

3.1 异构专家共识标注

对正文、表格、公式等不同区域，由多个异构 OCR 专家模型交叉校验并投票，只有多模型一致的高置信结果才进入训练集。这相当于把”多模型集成”前移到标注阶段做噪声过滤：单一模型自标注容易被自身系统性偏差污染，人工标注又难以覆盖亿级样本规模，共识投票在成本与质量之间取得了平衡。该案例训练累计使用约 1.7 亿条 OCR 与文档理解样本。

3.2 预测—重渲染—视觉比对闭环

针对复杂表格与公式，引入闭环校验：把候选解析结果重新渲染为图像，与原始文档区域做像素级和结构级比对；一旦发现行列错位或符号缺失，就定位问题并定向修正。其伪代码逻辑如下：

def closed_loop_verify(doc_region, parsed_result):
    rendered = render_to_image(parsed_result)   # 解析结果重新渲染为图像
    diff = visual_diff(doc_region, rendered)    # 像素 + 结构双重比对
    while diff.has_error():                     # 行列错位 / 符号缺失
        parsed_result = repair(parsed_result, diff)
        rendered = render_to_image(parsed_result)
        diff = visual_diff(doc_region, rendered)
    return parsed_result

这个思路的本质，是用可执行的反馈闭环替代不可靠的概率置信：模型自己说”我很确定”不算数，渲染出来与原图对得上才算数。对公式这类”错一个符号就全错”的内容尤其有效。

3.3 困难样本定向合成

按版面复杂度、字体形态与物理退化因素合成困难样本，并补充多语种、古籍手写、屏幕摩尔纹与扭曲光照等长尾数据。这解决的是”评测集干净、真实现场脏”的经典落差问题——线下高分、上线翻车，往往就是训练分布里缺了这些退化形态。

四、训练范式：三阶段递进

该案例的训练分为三个阶段，层层递进：

• 第一阶段：文本锚定。通过区域掩码类的训练策略，强化视觉局部区域与文字 Token 之间的空间对应关系，让模型”看哪里、写哪里”，为后续按阅读顺序输出结构化结果打基础；
• 第二阶段：持续预训练。以百亿级 Token 的多任务混合数据打底，在通用基座（该案例基于某开源 0.8B 参数基座构建）之上注入文档理解能力；
• 第三阶段：混合任务强化学习。在困难样本上使用可验证奖励信号：

def reward(parsed, ground_truth, qa_answer):
    r_edit  = 1 - normalized_edit_distance(parsed, ground_truth)   # 结构编辑距离
    r_table = table_match_score(parsed.tables, ground_truth.tables) # 表格匹配度
    r_qa    = qa_accuracy(qa_answer, ground_truth.answers)         # 问答准确率
    return w1 * r_edit + w2 * r_table + w3 * r_qa

与传统依赖人工偏好排序的 RLHF 不同，可验证奖励直接以客观指标为信号：解析结果与标准答案的编辑距离、表格单元格的内容与位置匹配度、问答准确率都是可程序化计算的。这类奖励训练稳定、不易被”钻空子”，特别适合解析与抽取这类结果有明确对错的任务。

五、评测：怎么判断”真的好用”

文档理解的评测必须贴近真实采集条件，该案例的评测体系与公开结果包括：

• 五种真实采集方式（模拟扫描、纸张弯曲、屏幕翻拍、光照变化、倾斜拍摄）构成的综合评测中得分 95.24，在对比模型中排名第一；另一更贴近自然场景的评测得分 87.94；
• 业界主流文档解析综合基准：得分 96.83，位列总榜第二、与榜首仅差 0.04 分，且在 1B 以下参数模型中排名第一；
• 专项能力：数学公式识别 97.84 分，表格结构识别 92.27 分；
• 古籍与书法评测：得分 73 分，与某闭源旗舰模型的 72 分处于同一水准；
• 此外还覆盖文档问答、信息问答、图表问答、场景文本等多类文档理解基准的综合验证。

这组数字说明两点：其一，在文档理解这一垂直领域，亚 1B 的专用小模型完全可以逼近乃至追平通用大模型；其二，评测设计必须覆盖真实退化条件，否则会带来严重的”实验室—现场”落差。

六、工程落地：从结构化输出到自动化流程

模型的价值最终取决于”输出的结构化程度能否直接驱动业务”。给出三条实践建议。

6.1 用字段约束 + 置信度组织抽取输出

{
  "doc_type": "invoice",
  "fields": {
    "invoice_no": "INV-2024-0987",
    "amount": { "value": 12345.67, "currency": "CNY" },
    "issue_date": "2024-10-30"
  },
  "confidence": { "invoice_no": 0.98, "amount": 0.95, "issue_date": 0.91 }
}

按指定字段输出 JSON 并附带置信度，下游即可设置阈值分流：高置信自动入账归档，低置信转人工复核，兼顾效率与风险控制。

6.2 搭建端到端流水线

将模型接入”文档上传 → 解析 → 字段抽取 → 规则校验 → 归档”的完整流程。在云侧，可以组合通用能力完成编排：用对象存储承接原始文档与解析产物，容器平台承载推理服务并按流量弹性伸缩，消息队列解耦各处理环节，日志与监控服务跟踪吞吐量、时延与失败率。例如在百度智能云等云平台上，上述均属可直接组合的通用产品类目，无需自建基础设施。

6.3 私有化与端侧场景

0.8B 量级的模型经量化压缩后，有机会在端侧或完全私有的环境中运行，适合数据合规敏感的票据、证卡、内部单据处理场景，让数据不出域即可完成解析与抽取。

七、局限与展望

需要冷静看待三点局限：其一，轻量模型的通用推理能力弱于大参数模型，复杂跨页推理与长上下文关联仍需更大容量支撑；其二，古籍、手写等长尾场景虽经针对性补强，与常规场景的分差依然可见；其三，公开评测数字来自特定基准与对比集，业务侧应自建评测集做二次验证后再评估上线。

展望来看，”可验证奖励强化学习 + 数据闭环校验”这套方法论，具备从 OCR 向更多”结果可程序化校验”的结构化任务（代码生成、数据转换、报表还原等）迁移的潜力；而”垂直小模型 + 云端流程编排”的组合，将持续拉低文档智能的落地门槛。

总体而言，这一案例验证了一个朴素但重要的判断：在任务边界清晰、结果可校验的垂直领域，精心设计的亚 1B 模型足以成为高性价比的工程选择。