开源公式识别方案选型与落地实践

一、问题背景：为什么图片公式识别仍然困难

图片公式识别并不只是“把一张图转成文字”。与普通印刷体文字识别相比，数学公式具有二维布局、符号密度高、字体与尺寸变化剧烈、上下文依赖强等特点。例如同一个字符“x”在不同上下文中可能表示变量、乘号或向量分量，而分式、根号、上下标、求和极限等结构会显著改变符号之间的空间关系与语义优先级。

因此，一个可用的公式识别系统通常需要解决三个连续但独立的问题：

1. 版面定位：从整页文档中找出哪些区域是数学公式；
2. 公式切分：将公式区域与正文、表格、图形等内容准确分离；
3. 公式识别：将公式图像转换为可编辑的结构化文本，通常是 LaTeX 或 MathML。

很多早期方案将这三个步骤耦合在一起，导致任一环节出错都会影响整体效果。例如公式区域被漏检、公式与正文粘连、识别结果中丢失分式结构等。现代工程实践更倾向于将系统拆分为检测、切分、识别三个可独立评估的模块，以便量化瓶颈并分别优化。

二、技术路线对比：大模型与小模型的分野

近两年，多模态大模型在文档理解与公式识别方向展现了很强的能力。一些通用视觉语言模型在标准排版、英文论文截图等场景下，能够直接输出较完整的 LaTeX 表达式。这类方法的优势在于端到端、上下文感知能力强，适合处理版面规范、来源单一的图像。

但大模型路线也存在明显限制：

• 算力门槛较高：模型动辄数 GB，批量推理通常需要 GPU，不利于在普通服务器或个人电脑上部署；
• 长尾场景不稳定：对于非标准排版，例如中学试卷、PPT 截图、Word 导出的混合排版、手写批注等，精度波动明显；
• 可解释性与可控性较弱：难以针对特定错误类型进行定向优化；
• 更新与维护成本不可忽视：大模型迭代快，但生产环境切换成本较高。

相比之下，小模型路线坚持模型体积小、CPU 可运行、组件可替换的原则。其核心假设是：公式识别任务的困难主要集中在版面多样性与符号歧义，而非必须依赖超大参数规模才能解决。通过精细的检测模型与专门训练的识别模型配合，可以在低资源环境下获得较高精度与可预期性能。

三、系统设计：检测与识别解耦

一个典型的公式识别系统可以抽象为以下流水线：

输入图像
  │
  ▼
版面分析 ──► 文本行/图片/表格区域
  │
  ▼
公式检测 ──► 公式区域候选框
  │
  ▼
公式裁剪与预处理
  │
  ▼
公式识别 ──► LaTeX / MathML
  │
  ▼
后处理与置信度过滤

其中，公式检测模型负责回答“哪里有公式”，公式识别模型只处理已经裁剪好的公式图像。这样拆分有多个好处：

1. 独立评估：检测与识别的错误可以分别统计，便于定位瓶颈；
2. 数据复用：检测框可以用于生成训练样本，提高数据闭环效率；
3. 部署灵活：检测模型可以运行在低分辨率全图上，而识别模型只处理小图，CPU 成本更可控；
4. 定向优化：针对试卷类公式容易与题干文字粘连的问题，可以单独增强检测模型，而无需重新训练识别模型。

四、识别模型选型的关键考量

公式识别模型的核心任务是将图像映射为 LaTeX 序列。当前主流方案多基于编码器-解码器结构：编码器负责提取视觉特征，解码器负责生成 token 序列。

在选择或自研识别模型时，以下几点值得优先关注：

1. 架构的可持续性

部分早期开源方案虽然思路可行，但代码质量参差、依赖陈旧，长期维护成本较高。生产环境应选择模块清晰、便于替换 backbone 或解码器的架构。例如采用标准视觉 Transformer 编码器与自回归文本解码器，可以较方便地接入新的预训练权重，也便于进行量化与推理优化。

2. 训练数据与评测集的代表性

公式识别的精度高度依赖训练数据是否覆盖目标场景。仅用标准论文公式训练出的模型，在处理试卷、PPT 等真实场景时往往出现明显退化。因此，评测集应来源于真实用户上传的图片，再经过检测、裁剪与人工标注。不同的来源分布可以更准确地反映模型在目标场景下的表现。

3. 模型精度与速度的平衡

在实际部署中，识别模型通常需要在 CPU 上以可接受的时延运行。例如在文档批量处理任务中，单张公式的识别时间可能需要控制在数百毫秒以内。此时，模型参数规模、输入分辨率、解码步数都会显著影响吞吐。通过调整输入尺寸、使用缓存解码、限制最大序列长度等技术，可以在精度损失可接受的情况下提升并发性能。

4. 评测指标的多维化

简单地比较整体准确率容易掩盖结构性问题。更合理的做法是同时关注：

• 字符级准确率：衡量基础符号识别能力；
• 表达式级准确率：整条 LaTeX 完全正确的比例；
• 结构错误率：分式、根号、上下标等结构是否被正确识别；
• 类型别误差：哪些符号更容易混淆，例如“l”与“1”、“\sum”与“\Sigma”。

这些指标可以帮助团队更清楚地判断模型能力边界。

五、工程实践：从数据到部署

在实际项目中，搭建一套可用的公式识别能力，通常包括以下环节：

1. 训练数据建设

首先需要构建公式检测数据集，从真实文档中标注公式区域。然后利用训练好的检测模型自动裁剪公式图片，再进行人工转写。这个流程可以显著降低人工标注工作量，同时确保识别模型的训练数据与真实使用场景一致。

2. 模型训练与迭代

在选定识别模型架构后，可以采用分阶段训练策略：先在较大规模的合成数据上预训练，再在真实标注数据上微调。合成数据可以通过渲染 LaTeX 生成，能覆盖大量符号组合与结构类型；真实数据则用于修正渲染域与拍摄域之间的分布差异。

3. 推理部署与性能优化

公式识别服务通常以 HTTP 接口形式对外提供。服务端可以采取以下措施提升可用性：

• 使用 ONNX 或类似中间表示进行模型导出；
• 对输入图像进行尺寸约束与归一化；
• 对检测和识别模型分别设置超时与队列；
• 使用异步任务处理大文档批量请求；
• 通过批量推理提升 GPU 利用率，或在 CPU 上采用多进程并发。

4. 结果后处理

识别结果通常需要根据业务场景进行转换。例如，如果下游是题库系统，可能需要将 LaTeX 转换为结构化对象；如果下游是网页展示，则需要确保 MathML 或渲染组件的兼容性。此外，可设置置信度阈值，对低置信度结果进行人工复核或二次识别。

六、评估体系与灰度发布

公式识别系统上线前，应建立一套与业务指标挂钩的评估体系。通常做法是：

1. 固定一批覆盖不同难度的回归测试集；
2. 每次模型迭代后输出字符级、表达式级与结构级指标；
3. 对识别错误的样本进行聚类分析，找出主要失败模式；
4. 在部分用户或部分文档类型上灰度发布，观察业务指标变化。

这种机制可以帮助团队避免“只看 demo 不错，上线后效果打折”的常见问题。

七、总结与建议

公式识别正在从“实验性工具”转变为“文档智能化基础设施”。对于需要长期维护、可私有化部署、成本可控的团队来说，小模型路线依然具有较强吸引力。其核心价值在于：

• 部署灵活，CPU 环境即可运行；
• 模块清晰，检测与识别可分别迭代；
• 数据闭环明确，便于针对垂直场景持续优化；
• 无闭源依赖，避免商业授权与数据合规风险。

在具体实施时，建议先明确目标场景与部署资源，再根据评测集表现选择或训练相应模型。相比于追求单一指标领先，建立完整的“数据—训练—评测—部署”闭环，更容易获得持续稳定的精度提升。