离线字符识别中的字符提取：从扫描图像到独立字符

在离线字符识别系统中，输入往往来自扫描仪或拍照设备获取的表格、票据、档案等纸质文档。与在线识别（实时笔迹轨迹）不同，离线识别只能依赖一张静态图像，因此整个流程的第一步——字符提取——直接决定了后续识别的上限。字符提取要做的事情看似简单：把图像中属于同一个字符的像素归拢到一起，把不同字符分开，并给出每个字符的边界框。但正是在这一步，工程实践中会遇到大量棘手问题，其中最典型、影响最大的就是粘连字符的切分。

本文将从字符提取的整体流程出发，分析粘连问题的成因与分类，讨论常见的检测与切分策略，并给出一个可运行的处理框架与代码示例，最后总结工程落地中的注意事项。

一、字符提取在离线识别流程中的位置

一个典型的离线字符识别流水线可以概括为以下几个阶段：

1. 图像预处理：灰度化、二值化、去噪、倾斜校正、版面分析；
2. 文本区域检测：定位图像中的文本行或文本块；
3. 字符提取（切分）：在文本行内部分离出单个字符；
4. 字符识别：对每个字符图像进行分类或序列解码；
5. 后处理：语言模型纠错、格式化输出。

字符提取处于第 3 步，它承上启下：向上依赖文本行检测的精度，向下决定识别模型的输入质量。如果切分错误，即使识别模型再强，也无法挽回——一个被错误合并的“字符”在类别空间中根本不存在，一个被拦腰截断的字符同样无法被正确分类。

从形式化角度看，字符提取可以描述为：给定文本行图像 $I$，寻找一组切分点，将 $I$ 划分为若干子图 $c_1, c_2, \dots, c_n$，使得每个子图尽可能对应一个语义字符。切分点的选择依据通常包括垂直投影、连通域分析、笔画宽度、轮廓特征等。

二、字符提取的常见缺陷

原始资料指出，字符提取阶段存在几种常见缺陷，其中最常见的是将多个相连的字符当作单个字符分离出来。这一描述其实涵盖了粘连问题的两个方向：

• 欠切分（under-segmentation）：多个字符被合并为一个整体，输出一个过宽的边界框；
• 过切分（over-segmentation）：单个字符被拆成多个碎片，例如“川”字被竖笔画切开、“明”字被左右结构切开。

此外还有几类缺陷值得补充：

• 噪声连通域误判：扫描污点、装订孔、表格线残留被当作字符；
• 笔画断裂：二值化阈值不当导致细笔画断开，一个字符变成多个连通域；
• 字符丢失：低对比度或印章遮挡导致字符未被检出；
• 边界框偏移：切分位置偏差，字符边缘被裁掉。

这些缺陷中，欠切分对识别的影响尤为严重，因为它直接产生“不存在的类别”，且错误会沿着流水线传播。因此，工业界的大量工作都围绕粘连字符的检测与切分展开。

三、粘连字符的成因与分类

粘连并非单一现象，按几何形态大致可以分为几类，不同类型的处理策略差异很大：

1. 接触型粘连：两个字符的笔画在某一处轻微接触，整体轮廓仍可区分。常见于手写体、低分辨率扫描件。此类粘连通常可以通过轮廓分析或寻找“细腰”位置切开。

2. 重叠型粘连：字符之间明显重叠，笔画交叠区域较大，例如连笔书写、印章覆盖。这类问题单靠几何切分很难解决，往往需要结合识别模型进行序列级建模。

3. 结构型粘连：字符本身由多个部件组成（如左右结构、上下结构的汉字），部件间距小，容易被误判为粘连。这要求切分算法能够区分“字符内部间距”与“字符间距”。

4. 表格线粘连：扫描表格时，字符与表格线相接，连通域分析会把整条线连同字符一起输出。此类问题更适合在预处理阶段通过表格线检测与移除来解决，而非在字符切分阶段硬切。

理解粘连类型很重要，因为它决定了应当采用“先切分再识别”还是“免切分识别”的路线。对于接触型粘连，传统切分方法仍然有效；对于重叠型粘连，基于序列建模的免切分方法往往更稳健。

四、字符提取的主要技术路线

4.1 基于投影的切分

垂直投影是最经典的方法：统计文本行每一列的黑色像素数，投影曲线的低谷即为候选切分点。

import numpy as np
def vertical_projection(image_binary):
    # image_binary: 二值图像，字符为1，背景为0
    projection = image_binary.sum(axis=0)
    return projection
def find_split_points(projection, threshold=1):
    # 投影值低于阈值的连续区间视为字符间隙
    gaps = []
    in_gap = False
    start = 0
    for i, v in enumerate(projection):
        if v < threshold and not in_gap:
            in_gap = True
            start = i
        elif v >= threshold and in_gap:
            in_gap = False
            gaps.append((start, i - 1))
    if in_gap:
        gaps.append((start, len(projection) - 1))
    return gaps

投影法的优点是简单高效，对印刷体、字符间距均匀的文档效果很好。缺点也很明显：对粘连字符无能为力（间隙消失），对倾斜文本敏感，对汉字这类结构复杂的字符容易过切分。工程上通常会把投影法与连通域分析结合，用投影确定大致字符区间，再用连通域修正边界。

4.2 基于连通域的方法

连通域分析通过标记相邻像素的连通关系，得到若干候选字符区域。对于不粘连的印刷体，一个字符通常对应一个连通域；对于汉字，一个字符可能对应多个连通域（如“心”字底），需要基于位置关系进行合并。

连通域方法的关键在于合并规则的设计：水平方向距离小于阈值、垂直方向重叠率高于阈值的连通域，倾向于合并为同一字符。这一规则需要根据字体、字号、分辨率进行调参，缺乏自适应性是其局限。

4.3 基于识别反馈的切分

更稳健的思路是把切分与识别耦合起来：生成多个候选切分路径，对每条路径上的字符片段进行识别，用识别置信度作为切分质量的评价指标，选择总分最高的路径。这类方法本质上是在切分空间上做搜索，计算量较大，但对粘连字符的处理效果明显优于纯几何方法。

可以用一个简化的动态规划描述其思想：

def best_segmentation(line_image, recognize, max_width):
    n = line_image.width
    # dp[i] 表示前 i 列的最优切分得分
    dp = [-inf] * (n + 1)
    dp[0] = 0
    for i in range(1, n + 1):
        for w in range(1, max_width + 1):
            j = i - w
            if j < 0:
                break
            patch = line_image.crop(j, i)
            score = recognize(patch)  # 返回识别置信度
            dp[i] = max(dp[i], dp[j] + score)
    return dp[n]

实际系统中，为了避免组合爆炸，通常会限制候选切分点的数量，或先用几何方法生成候选路径集合。

4.4 免切分识别

近年来，序列识别模型（如基于注意力机制或连接时序分类的模型）逐渐成为主流。这类方法不再显式切分字符，而是直接对整行图像做序列解码，把切分问题隐含在模型内部。对于粘连严重、书写风格多变的手写文档，免切分方法通常表现更好。

但这并不意味着字符提取变得无意义。一方面，文本行检测、版面分析仍然需要几何处理；另一方面，免切分模型对输入的行图像质量敏感，倾斜校正、去噪、行切分仍然依赖传统图像处理。因此更合理的定位是：字符提取从“必须显式切分”演变为“为序列模型提供高质量行图像”，几何方法的作用从切分转向规范化。

五、工程实践建议

结合上述分析，给出几条落地建议：

第一，先诊断再选型。 在动手之前，先统计样本中粘连的比例和类型。如果粘连比例很低（例如规范印刷体表单），投影法加连通域修正足以满足需求；如果手写连笔普遍存在，应优先考虑序列识别方案。

第二，预处理决定上限。 倾斜校正、表格线移除、二值化阈值选择对字符提取的影响往往被低估。一条残留的表格线会让整行的连通域分析失效，因此在预处理阶段做版面分析、线条检测是必要的投入。

第三，保留多候选。 在切分阶段不要急于给出唯一结果，保留若干候选切分路径供识别阶段打分，可以显著降低欠切分带来的损失。

第四，建立评估闭环。 字符提取的质量需要用端到端指标衡量（如整行识别准确率、字符错误率），而非仅看切分数量是否与标注一致。建议构建包含粘连样本的测试集，持续跟踪切分策略变更带来的影响。

第五，注意参数的自适应。 字号、分辨率、字体的变化会直接影响投影阈值和连通域合并距离。工程上可以通过版面分析估计字符高度，再据此设定相对阈值，避免硬编码绝对像素值。

六、小结

字符提取是离线字符识别中承上启下的关键环节，其核心挑战在于如何在噪声、粘连、结构复杂性的干扰下，稳定地把图像划分为语义字符单元。粘连字符的欠切分是最常见也最伤识别效果的缺陷，针对接触型、重叠型、结构型、表格线型等不同成因，应当采取不同的处理策略。技术路线上，投影法与连通域法适合规则文档，识别反馈式切分适合中等复杂度场景，免切分序列识别则更适合手写与强粘连场景。无论选择哪种路线，预处理质量、多候选保留与端到端评估都是工程落地中不可忽视的要素。把字符提取做扎实，后续的识别模型才能发挥出应有的水平。