自动化脚本屏幕数字识别：点阵字库制作实战

一、为什么自动化脚本需要“看懂”屏幕文字

自动化脚本的核心价值，是把重复性操作交给程序执行。但一个完整的自动化闭环，不能只有“操作”而没有“反馈”：脚本点击了按钮、输入了命令之后，还需要读取屏幕上回显的结果，才能决定下一步动作。例如在终端程序里输入一串命令后，程序回显一段数字；脚本若能自动识别这串数字，就可以据此判断执行是否成功、数值是否达到预期，从而真正实现无人值守的流程闭环。

让脚本“看懂”文字，业界主要有两条路线：

1. 通用文字识别（OCR）：适合排版复杂、字体多变、字符集开放的场景，但依赖较重的识别引擎，在字符集极其有限（如纯数字）时反而“大材小用”。
2. 点阵字库模板匹配：预先把每个字符的字形做成像素模板，识别时将屏幕区域二值化后与模板逐一比对。它速度快、资源占用低、结果确定性强，非常适合“字体固定、位置固定、字符集有限”的屏幕读取场景——本文要讲的正是这一方案。

两者并非替代关系而是互补关系。当你需要识别的只是终端里 0-9 十个数字时，模板匹配往往是性价比最高的选择。

二、技术原理：从像素到字库

理解制作流程前，先厘清三个基础概念。

像素矩阵：屏幕上任何一段文字，本质上都是由像素点按固定规律排列而成的图案。

二值化：截取的图片包含丰富的颜色信息，但识别时并不需要。只需指定“文字的前景色”（例如深色终端上数字的颜色），再给定容差范围，工具即可把图片处理成只有黑与白两色的点阵图——笔画为一种颜色，背景为另一种颜色。这一步剥离了背景与渲染差异的干扰，让字形被干净地“扣”出来。

模板匹配：把二值化后的每个字符点阵，与字库中预先登记的字模逐一比对并计算相似度，取最接近的字模所对应的字符作为识别结果。

整套方案的工作链路可以概括为：抓取屏幕区域 → 选取前景色并二值化 → 提取字符点阵 → 人工定义点阵的字符含义 → 汇成字库 → 脚本运行时按“二值化 + 匹配”识别整段文字。

三、环境准备

动手之前，确认以下几项：

1. 脚本环境：一套支持图色识别能力的自动化脚本工具，此类工具普遍提供抓色、找图、字库调用等插件接口，确保图色插件已正确加载。
2. 字库制作工具：图色插件一般配套一个字库编辑器，用于抓图、二值化预览与字模管理，本文流程即围绕这类通用工具展开。
3. 新建字库文件：在工具中新建一个空字库，命名为 test.txt（命名可自定义）。
4. 稳定的显示环境：固定屏幕分辨率与缩放比例（建议系统缩放保持 100%）、固定被识别程序的字体与字号。模板匹配的可靠性完全建立在“显示一致性”之上，任何显示参数漂移都可能导致识别失败。

四、字库制作五步法

以下以识别终端中的数字为例完整走一遍流程，目标很明确：在终端输入 123，脚本能准确识别出”123”。

第 1 步：抓取目标区域

在字库工具中按下快捷键（通常为 Ctrl+1，也可直接点击工具栏上的抓图按钮）进入截图模式；用鼠标左键框选包含目标数字的矩形区域，框选完成后按下回车键确认保存。此时工具左侧的预览窗口会显示刚截取的图片，供后续操作使用。

一个实践技巧：选区宁可先大后小。范围太大虽然能用，但背景干扰项很多，二值化后画面杂乱；发现干扰过多时，重新截一个只包住数字的小区域即可。干净的最小选区，是高质量字模的前提。

第 2 步：选取颜色，完成二值化

这是决定成败的一步，操作分两段：

1. 在左侧的颜色方框（截图取到的调色板）中任选一个颜色，将鼠标移上去点击左键，将其设为当前取色目标；
2. 我们要识别的是数字，因此再到左上方的预览图上，把鼠标移动到数字的颜色上点击一次——这一下等于告诉工具“前景色就是它”。

完成点击后，工具的二值化区域会实时显示出识别到的黑白点阵内容：数字笔画以一种颜色呈现，其余部分归为背景。如果点阵糊成一团或笔画残缺，通常是颜色选偏或容差不合适，应回到上一步重新选色，必要时重截图。

第 3 步：提取点阵

确认二值化结果干净后，使用“提取点阵”功能把像素图案固化成字模。工具一般提供两种方式：

• 提取单个：把二值化区域里的全部内容整体做成一个字模，适合“整串文字固定不变”的场景，例如界面上永远不变的提示语。
• 提取多个：工具会智能检测字符间隙，自动拆分出单个字符的字模。制作数字字库必须用这种方式，因为最终目标是让每个数字独立成模。

第 4 步：定义文字含义——最容易被忽视的关键一步

很多人做到这里就以为字库做好了，其实远远没有。此时程序只是“看见”了一团像素组成的图案，并不知道它代表什么含义。缺少人工定义的字库，只是一堆无意义的图形编码。

正确做法是：在“定义文字”输入框中，手动输入当前字模对应的真实字符。例如当前提取的图案是数字”1”的字形，就输入 1。

特别强调：输入字符后必须按下回车键。回车在这里代表“保存入库”，敲完不回车，之前的操作全部无效。

按下回车后可从两处确认入库成功：一是字库条目数量变为 1，说明已有数据写入；二是在字库编码行中，”|”符号左侧会显示该图形编码对应的字符含义，即刚定义的”1”。

第 5 步：循环补齐整个字符集

接下来是重复性劳动：不断截图、二值化、提取点阵、定义字符，直到把 0 到 9 十个数字的字模全部做完。

为什么必须凑齐十个？因为任意长度的数字串——7 位的 1234567 也好，3 位的 905 也好——都是由这十个基本字符排列组合而成。字库中每多登记一个数字，可识别的组合就急剧扩大；反之，缺任何一个数字，所有包含该数字的组合都会识别失败。

五、先验证，再写代码

字库做完后的第一件事，不是急着写业务代码，而是验证。这是很多初学者跳过、随后在排查上浪费数小时的环节。

验证方法：重新截取一张包含数字串的图片。由于字库中已有对应字模，二值化区域里凡是命中字库的字符，都会自动在识别结果区域显示出其含义。将它与终端实际输入的数字逐一比对：

• 完全一致 → 字库合格，可以进入脚本开发；
• 出现错字、漏字 → 回到字库工具检查对应字模，常见原因包括截图带入背景干扰、颜色选取偏移、相似字符字模过于接近等。

建议至少用三组不同长度的数字串交叉验证（如 1 位、5 位、含 0 的组合），覆盖全部十个字符后再定稿。

六、在脚本中调用字库

验证通过后，即可在自动化脚本中挂载并调用。以下为示意伪代码，展示通用的调用结构（具体函数名以你所用脚本工具的文档为准）：

; 1. 挂载字库文件
load_char_library("test.txt")
; 2. 指定识别区域（终端回显数字的坐标范围）
region = {x1: 100, y1: 200, x2: 280, y2: 232}
; 3. 在区域内识别文字，给定颜色范围与相似度阈值
text = ocr_recognize(region, color="ffffff-000000", sim=0.9)
; 4. 处理识别结果
if text != "" then
    print("识别到的数字：" + text)
    num = to_number(text)
    if num > 100 then
        ; 依据识别结果决定后续自动化动作
    end if
else
    print("识别失败，检查区域坐标与颜色设置")
end if

调用时三个参数直接决定成败：

• 识别区域：坐标必须精确覆盖数字所在范围，留几像素边距通常无害，但偏移过大会识别为空；
• 颜色范围：一般是“前景色-偏色容差”的形式，须与制库时的取色保持一致；
• 相似度阈值：控制匹配严格程度，取值越高越严格，通常从 0.9 起调。

七、工程化实践建议

把“能用”变成“稳定可用”，还需要几条纪律：

1. 锁定显示一致性。固定分辨率、系统缩放与被识别程序的字体字号；换机器部署前，先跑一遍识别验证。
2. 字模必须来自真实环境。不要用设计稿或想象中的字形制库，一定要从实际运行的屏幕上截图提取，确保像素级一致。
3. 相似度阈值需调优。漏识别时适当降低阈值；误识别（如把 7 认成 1）时适当提高阈值，并检查两个字模是否过于接近。
4. 字库分文件管理。不同字体、字号、界面主题各自独立成库，按场景挂载，避免单一字库膨胀后相互干扰。
5. 为识别失败设计兜底。生产脚本中，识别失败应触发重试（可加短暂延时）与日志告警，而不是让流程静默继续。
6. 认清方案边界。点阵字库适合“字符集有限、显示稳定”的读取场景；面对字体多变、排版复杂、字符集开放的通用文字时，应转向通用 OCR 方案，例如借助百度智能云提供的云端通用文字识别类能力，按场景搭配使用。

八、常见问题排查速查

• 识别结果为空：区域坐标偏移、前景色与制库时不一致、字库未挂载成功；
• 识别出错误字符：字模字形相近（1 与 7、0 与 8 是高频混淆对）、相似度阈值过低、背景混入字模；
• 只识别出部分字符：字库缺字、字符间距异常导致自动拆分失败、个别字符颜色超出容差；
• 换环境后集体失效：分辨率、缩放或字体渲染存在差异，需在新环境重新制库或校准。

九、小结

屏幕数字识别看似神秘，拆开后不过一套朴素的工程流程：抓图 → 选色二值化 → 提取点阵 → 人工定义含义 → 验证 → 调用。其中最容易被低估的是两步：一是“定义文字含义”——程序无法自行理解图案语义，人工标注不可省略，且回车保存这个动作必须形成肌肉记忆；二是“先验证再编码”——字库质量决定了后续所有自动化逻辑的地基。掌握这套点阵字库方法论，再配合稳定性纪律与合理的方案选型，你就能在固定的终端界面、监控大屏或数值面板上，搭建出识别准确、长期可靠的自动化文字读取能力。