自动化脚本文字识别实战：点阵字库制作全流程

一、背景：自动化脚本为什么需要“认识”文字

在桌面自动化、界面自动化等场景中，脚本除了模拟点击、按键之外，经常还需要“看懂”屏幕上的内容。典型需求包括：

• 读取终端/命令行窗口中输出的数字，据此决定后续流程分支；
• 读取界面上的倒计时、积分、坐标等数值，实现条件判断；
• 识别状态栏提示文本，判断程序运行状态。

这类需求的共同特点是：文字来源是屏幕像素，而不是程序内部变量。要获取它们，必须借助文字识别（OCR）技术。

通用的解决思路有两条：

1. 调用现成 OCR 能力（本地通用识别引擎或云端文字识别服务，例如百度智能云的文字识别类服务）：适合字体多样、版式复杂的场景，但对小字符集、固定字体的场景而言，引入网络请求或重量级引擎并不划算；
2. 基于点阵字库的本地识别：把目标文字的像素图案提取成“点阵”，建立“图案—字符”映射表，识别时在指定区域比对点阵。优点是离线运行、毫秒级响应、对固定字体识别率极高，是自动化脚本中最常用的轻量方案。

本文以“识别终端窗口中输入的数字（如输入 123 则识别出 123）”为目标，完整拆解第二种方案的实现全流程。

二、整体流程概览

完整的点阵字库识别流程可以概括为六个步骤：

1. 新建字库文件，作为点阵与映射关系的载体；
2. 抓取目标区域截图，并确认预览效果；
3. 取色与二值化，把彩色截图转换为黑白点阵图；
4. 提取点阵，把二值化后的像素图案“录入”字库；
5. 绑定字符含义，告诉程序“这个图案代表什么字”；
6. 在脚本中加载字库并调用识别接口，验证效果。

其中第五步最容易被初学者忽略，却是决定识别能否成功的核心环节，后文将重点展开。

三、第一步：新建字库文件

字库本质上是一个文本文件，里面记录两类信息：

• 点阵描述：某段文字在特定字体、特定颜色、特定字号下的像素分布；
• 映射关系：这段点阵对应的实际字符内容。

动手识别之前，先通过字库制作工具新建一个字库文件（例如命名为 test.txt）。命名建议遵循“用途 + 字符集”的规则，例如 digit_terminal.txt 表示终端数字字库，便于后期多字库管理与维护。

四、第二步：抓取目标区域截图

使用制作工具提供的抓图功能（快捷键或工具栏按钮均可触发），用鼠标左键框选需要识别的区域，确认后按回车键保存。此时工具左侧的预览窗口会显示刚截取的图像，应仔细确认两点：

• 截图是否完整覆盖了目标文字；
• 是否混入了大量无关背景。

一条重要的实践经验是：截图范围宁小勿大。初学者常犯的错误是一开始框选了整个窗口，导致背景中的其他文字、图标、噪点全部进入二值化结果，干扰后续判断。正确做法是只框选包含目标文字的最小矩形区域，例如终端中显示数字的那一行。若发现干扰项过多，应果断重新截图、缩小范围，而不是带着噪声继续往下走。

五、第三步：取色与二值化

二值化是点阵识别的基础，其目标是把彩色截图简化为“只有前景色与背景色”的黑白图像。操作上分为三小步：

1. 在工具左侧的颜色方框中任意选中一个色块，作为前景色候选；
2. 把鼠标移到预览区中目标文字的像素上（例如终端里白色数字的笔画），左键点击完成取色；
3. 观察工具的二值化区域：符合条件的像素被保留为前景，其余被过滤为背景，识别到的内容会以黑白点阵形式呈现。

这里涉及一个关键概念——偏色容差。屏幕文字受抗锯齿、渐变、图像压缩影响，同一笔画内的像素颜色并不完全一致，因此取色时通常采用“颜色 - 偏差值”的描述方式（例如 FFFFFF-020202 表示允许每个颜色通道有 2 的偏差），在“保留完整笔画”与“过滤背景干扰”之间取得平衡。若二值化结果出现笔画断裂，应增大容差；若背景大量残留，则应减小容差或更换取色点。

六、第四步：提取点阵

二值化结果确认无误后，即可使用提取点阵功能把像素图案录入字库。制作工具通常提供两种提取模式：

1. 提取单个：把二值化区域中的全部识别内容作为一个整体点阵保存。适合识别固定不变的短语或整段文本，例如按钮上的“确定”二字；
2. 提取多个：工具会自动分析字符之间的空白间隔，智能拆分出每个独立字符的点阵。适合识别由多个字符组成的序列，例如”123”会被拆成”1””2””3”三个独立点阵——这也是后续能够逐字符匹配、拼接出任意数字组合的前提。

提取完成后，建议立即回看二值化区域：每个字符应被清晰地分割开，没有粘连或断裂。如果”1”和”2”粘在了一起，通常说明截图范围过大或字符间距过小，需要重新截图缩小范围后重试。

七、第五步：绑定字符含义（最关键的一步）

很多初学者在完成点阵提取后就直接去调用识别，结果返回空值或乱码。原因在于：到目前为止，程序只是“记住”了若干由像素组成的图案，它并不知道这些图案在人类语言中的含义。

字库文件中真正让识别成立的是映射关系。也就是说，必须由开发者人工告诉程序：

• 这个点阵图案 = 字符”1”
• 这个点阵图案 = 字符”2”
• 这个点阵图案 = 字符”3”

在制作工具中，这一步通常通过“为点阵指定字符”的操作完成：选中某个点阵，输入它对应的字符并保存，工具就会把“点阵描述 + 字符”成对写入字库文件。如果采用“提取多个”得到的逐字符点阵，就逐个绑定；如果采用“提取单个”得到的整块点阵，则把整块内容（如”123”）作为一个识别单元绑定。

这一步完成后，字库才算真正可用。可以总结为一句口诀：抓图定范围，取色定前景，提取定图案，绑定定含义。

八、第六步：加载字库并调用识别

字库就绪后，即可在自动化脚本中加载并调用。不同脚本环境的接口细节略有差异，但核心参数高度一致，可以用下面的伪代码概括：

// 伪代码：加载字库并识别终端区域中的数字
lib = PointLib()
lib.load("test.txt")            // 加载字库文件
result = lib.recognize(
    x1, y1, x2, y2,             // 识别区域的屏幕坐标
    color = "FFFFFF-020202",    // 前景色及容差，需与制作时一致
    sim = 0.8                   // 相似度阈值，取值 0~1
)
print(result)                   // 终端显示 123 时，输出 "123"

调用时需要注意三点：

1. 识别区域坐标应与制作字库时的截图区域保持一致，至少要保证字体、字号、颜色完全相同；
2. 颜色描述必须与取色阶段使用的值一致，否则二值化结果会失真；
3. 相似度阈值并非越高越好：过高会把正常的轻微渲染差异判为不匹配，过低则容易误识别，一般从 0.8 附近开始按实际效果微调。

九、提高识别成功率的实践建议

在实际项目中，以下经验能显著提升点阵识别的稳定性：

1. 控制截图范围：区域越小，背景干扰越少，二值化越干净；
2. 保证字体渲染一致：系统 DPI 缩放、窗口缩放、字体平滑设置的变化都会改变像素分布，制作字库与实际运行的环境应尽量一致；
3. 优先选择颜色稳定的前景：终端等场景文字颜色固定，是最理想的识别对象；对带渐变、阴影的文字，应通过多组颜色描述提高覆盖；
4. 持续补充字库：运行中遇到未收录的字符时，用同样的流程补录该字符的点阵并绑定含义，字库会越用越全；
5. 按字符集拆分字库：数字、字母、汉字分别建库、按需加载，既减少误匹配，也加快比对速度。

十、方案边界与替代思路

点阵字库方案的适用边界同样需要清楚认识：它非常适合“字体固定、字符集有限、背景稳定”的场景，如终端输出、软件界面数值；而对于字体多变、存在艺术字或手写体、背景复杂的场景，逐字符建库的成本会迅速膨胀，此时更适合转向通用 OCR 能力，例如通过百度智能云的文字识别服务对截图做云端识别，用“识别覆盖面的提升”换取“部署与调用成本的增加”。

工程实践中常将两者结合：高频出现、格式固定的核心文字用本地字库保证速度与稳定，长尾的复杂文本调用通用 OCR 兜底，兼顾效率与覆盖面。

十一、总结

以“识别终端中的数字”为例，本文完整走通了自动化脚本文字识别的六个环节：新建字库、抓图、取色二值化、提取点阵、绑定含义、调用识别。其中“绑定字符含义”是初学者最容易遗漏、也最决定成败的一步——点阵只解决“长什么样”，映射才解决“是什么字”。掌握这套流程后，读者可以将其平移到各类固定字体场景中，构建属于自己的离线、轻量、高准确率的文字识别能力。