如何科学评测多模态大模型的识图与OCR能力

一、为什么用OCR来“考”多模态模型

如今各家多模态大模型陆续上线识图能力，不少开发者第一时间会拿自己手头的图片去“跑一跑”。但跑完之后，结论往往停留在“感觉还行”或“好像不太准”的层面。要让评测真正有价值，必须把它从体验式把玩升级为可复现、可量化、可对比的实验。

在众多识图子能力中，OCR（图片文字识别）是极佳的切入维度，原因有三：

1. 有客观标准。图片中的文字是既定事实，识别结果对就是对、错就是错，不像开放式图片描述那样见仁见智，量化打分天然成立。
2. 能力覆盖面广。一次OCR测试，同时考察感知（字形笔画分辨）、版面理解（行列方向与阅读顺序）、语言知识（繁体字、异体字、书法变体）乃至推理（遮挡与残缺的补全），相当于对多模态能力做了一次高密度采样。
3. 与真实业务强相关。档案数字化、票据处理、内容审核、海报信息抽取等场景都以文字识别为底座，评测结论可以直接指导选型。

补充一个容易被忽略的常识：不要把“某系列早已存在OCR专用模型”与“新灰度的多模态识图版本”混为一谈。同一技术体系下不同版本、不同路线的模型，OCR表现可能差异巨大。评测时务必记录被测对象的版本信息，用同一套测试集做新旧对比，结论才有意义——这正是版本回归的基本功。

二、评测前的三个关键控制

1. 统一提示词，测“裸能力”。所有测试统一使用“识别图片中的文字”这一朴素指令，不做任何提示词工程。这能把变量压到最低：测出来的是模型对“图上有什么字”的原始理解，而不是被提示词“喂”出来的答案。若先写复杂提示词再反复微调措辞，你永远分不清能力到底来自模型还是来自自己。
2. 先建黄金标准，再跑模型。对每张测试图，先由人工逐字校对出正确答案（含繁简、异体字、列序），作为golden标准。书法、艺术字这类样例，人工校对本身也不轻松，但这一步不可省：没有可信的ground truth，一切准确率都是空中楼阁。
3. 测试集分层，覆盖不同难度维度。简单截图人人都能识别，区分不出模型好坏。真正有区分度的是三类难点：竖排繁体书法、带遮挡的实拍图、复杂排版海报。下面逐一展开。

三、难点一：竖排繁体书法碑文——考“版面理解+文字学功底”

竖排碑文堪称OCR的“劝退题”：文字从右至左逐列排布，字形为书法体而非印刷体，且常夹带异体字（如“襃”通“褒”）。它同时压测两层能力：

• 阅读顺序重建：模型必须先把“竖排、从右到左”的空间结构映射为线性文本序列。如果输出的列序错乱，说明版面建模不过关，后续逐字比对也会被“串行”干扰。
• 字符级感知：书法字笔画连绵、风格多变，形近字误识概率大增。实测中就出现过把“馬”误识为“焉”一类错误——两字轮廓相近，但语义上完全可通过上下文排除。这类错误要单独记录：它是判断“感知弱”还是“没有用语言先验纠错”的关键诊断依据。

评分建议：先按列统计顺序正确性，再逐字diff统计识别准确率；对异体字应允许模型给出“某字通某字”的规范化说明，这类解释性输出是加分项而非错误。

四、难点二：带遮挡的实拍图——考“推理补全的边界”

第二类样本是日常实拍：门牌、街区指示牌、含编号与人名的铭牌等，普遍存在遮挡、反光、透视形变。这类图片有一个独特的观察点：

模型能否利用语言先验，把被遮挡的字符推理补全？例如某英文地名中间的字母被物体挡住，仅凭可见部分无法唯一确定该字母，但模型基于词法常识给出了正确结果。这正是大模型区别于传统OCR管线的价值所在——后者只做感知映射，前者还能在证据不足时做合理推断。

但评测时必须严格区分三种情形，不能眉毛胡子一把抓：

1. 推理命中：被遮挡字符被正确推断，值得记录为正面信号；
2. 幻觉：图中根本没有对应文字，模型却“脑补”出来，这是必须扣分的幻觉错误，直接威胁生产可用性；
3. 无中生有的增删：如把两位编号多识出一位数字（实测中将”M11”识成”M111”即属此类），多见于小字号、低对比度区域。

另一个高频遗漏点是角落小字：品牌角标、版权信息、极小的注释性文字常被整体跳过。评测前应明确口径——这些小字算不算考察范围。建议做法是：golden标准中登记所有肉眼可辨文字，按字号/显著度分级统计召回率，既不放过系统性遗漏，也不因边缘噪声误伤整体结论。

五、难点三：复杂排版海报——考“版面语义结构化”

第三类样本是信息密度极高、排版高度艺术化的展览海报：顶部是图形化设计字的大标题，右侧是竖排短诗，左侧散布参展信息，还混杂中英文、日期与机构名。它的难点不在单字识别，而在“把平面上的文字组织成有意义的结构”。

考察要点包括：

• 完整性：散落各处的文字块是否全部召回，有无漏块；
• 结构化：输出是按版面区域归类（如“顶部主标题/右侧竖排文案/左侧信息”），还是一股脑平铺；能否体现主次层级；
• 方向处理：竖排短句是否保持了正确的读取顺序；
• 跨语言：中英混排的切换是否自然、不串行。

对这类样例，建议以“文本块”为最小评分单元：每个块的位置归属性、内容完整性、顺序正确性分别打分，比纯字符准确率更能反映真实可用性。

六、把经验固化为可复用的评测流程

1. 准备样本集   按难度维度分层采样，登记元信息（来源、分辨率、文字密度）
2. 人工校对     建立黄金标准，含列序、异体字说明、小字登记
3. 统一推理     固定提示词"识别图片中的文字"，控制采样参数
4. 自动比对     逐列/逐块/逐字符diff，计算指标
5. 错误归类     感知错误 / 顺序错误 / 遗漏错误 / 幻觉 / 推理命中
6. 版本回归     固定测试集，对新灰度版本复跑，输出对比报告

核心指标建议：

• 字符准确率：识别结果与golden逐字一致的比例；
• 阅读顺序正确率：针对竖排、环绕等非线性版面单独统计；
• 文本块召回率：衡量遗漏，可按字号分级观测；
• 幻觉率：输出中“图中不存在文字”的占比，是生产可用性的红线指标。

一个极简的比对伪代码示意：

def evaluate(predicted: str, golden: str) -> dict:
    pred_chars = list(predicted)
    gold_chars = list(golden)
    matched = sum(p == g for p, g in zip(pred_chars, gold_chars))
    return {
        "char_accuracy": matched / max(len(gold_chars), 1),
        "length_drift": len(pred_chars) - len(gold_chars),  # 增删字符的信号
    }

真实工程中还应先按列/按块对齐再逐字比对，避免错位引发连锁误差。

七、从评测走向生产：工程化落地的几点建议

1. 用固定基准做版本回归。识图能力更新频繁，新版本灰度上线时，用同一套测试集复跑并对比指标，远比“再随手跑几张新图”可靠。
2. 流水线化批量评测。图片与标注可托管于对象存储，用消息队列或工作流引擎调度批量推理任务，结果写入日志服务，并配合监控告警跟踪指标漂移——这套基于云上通用服务（如百度智能云提供的对象存储、消息队列、日志与监控类能力）的组合，数小时即可搭好，成本远低于自建机房。
3. 关键场景保留人工复核。档案数字化、票据处理等高风险业务，应把模型置信度低的样例自动路由给人工复核，形成“机器初筛+人机协同”的闭环。
4. 建立错误驱动的样本迭代机制。每次评测暴露的bad case，清洗后回灌测试集，让基准随业务难点共同进化，避免“测试集越来越舒服、线上越来越翻车”。

八、结语

评价一个多模态“识图模式”，体验式的惊叹或失望都不足以指导决策。用统一的提示词、可信的黄金标准和分层的难点样例，把它按竖排书法、遮挡实拍、复杂排版三条线拆开量化，你会发现模型的真实画像远比“好用/不好用”丰富：哪里赢在语言推理补全，哪里输在小字感知，一目了然。这套方法论成本极低——几类样本、一轮校对、一段比对脚本——却能持续服务于版本回归与业务选型，是每个关注多模态能力的开发者都值得沉淀的基础设施。