多模态大模型识图能力实测：从OCR到推理补全

作者：谁偷走了我的奶酪2026.11.04 05:57浏览量：0

简介：多模态大模型的识图能力正从像素识别走向理解与推理。本文以一轮真实灰度测试为线索，给出可复用的评测方法：用竖排繁体碑文检验细粒度识别，用遮挡图文考察推理补全，用艺术排版验证版面理解，再以矢量图形生成观察空间推理；并提供误差归因框架、字符级指标与评测集构建建议，助你系统评估多模态识图能力。

一、从“能看图”到“看懂图”：识图能力的三个层次

近期，对话式大模型陆续开放多模态“识图模式”的灰度体验。不少拿到资格的开发者做的第一件事，就是把一张图片丢进去问“这里面写了什么”。这个看似朴素的动作，恰恰击中了多模态能力的核心命题：模型是在“识别”文字，还是在“理解”画面？

业内通常把识图能力拆成三个递进层次：

  • 感知层：把像素映射为符号，回答“看到了什么”；
  • 结构层：还原版面、阅读顺序与空间关系，回答“元素如何组织”；
  • 认知层：结合上下文与语言先验做推理补全，回答“缺失或模糊的部分应当是什么”。

专业OCR引擎的强项在第一层；多模态大模型的想象空间，主要在第二、三层。一次有价值的识图测试，应当同时覆盖三层，而不是只数对了多少个字。

二、为什么拿OCR当“试金石”

先澄清一个常见误会：业界早有成熟的专业OCR模型，“检测+识别”流水线在票据、证件、印刷文档等场景的精度与吞吐都经过大规模验证。考察识图模式并不是要拿它替代专业OCR，而是因为文字识别提供了一个“结果可校验”的窗口：

  • 有唯一真值：逐字比对即可量化对错；
  • 难度可调：印刷体→手写→书法→遮挡→艺术排版，可以持续探边界；
  • 能暴露路线差异：同一个被遮挡字符，流水线OCR往往输出空缺或乱码，而具备推理能力的多模态模型可能依据上下文补全。这正是两类技术路线的分水岭。

也就是说，测OCR只是切口，真正要看的，是识别被放进“理解—推理—生成”闭环之后会发生什么。

三、三类高难度场景的实测设计

为保证可比性，全程统一使用最简提示词：“识别图片中的文字”。提示词本身不应成为变量——花哨的指令模板有时反而掩盖模型的真实感知能力。

（一）竖排繁体书法碑文

测试图是一块竖排、从右至左阅读的繁体书法碑文。难点集中在三处：行列切分与传统横排阅读习惯相反；书法笔意带来字形形变（如“襃”这类异体字）；繁体形近字密集。

实测结果：列序还原正确，绝大多数字符可识别，但出现个别形近字误判——把“焉”认成了“馬”。这类误差非常典型：二字在行楷笔意下高度形似，属于感知层的细粒度混淆，对专业OCR同样棘手。它揭示的是视觉模型共同的“形近字陷阱”，与特征分辨率和字形先验的关系，远大于与模型规模的关系。

校对时建议据此建立差异清单，逐项标注“误识别/正确/存疑”，这也是后文误差归因框架的雏形。另外，超长图（如拼接长截图）与极小字号是另一组普遍难点：长图缩放后细节损失明显，值得单独设一类测试。

（二）带遮挡的实拍图文

第二组是真实拍摄的门牌/海报类图像：中英混排、字体多样、存在局部遮挡与轻微透视。三个观察值得展开：

  1. 主体文字识别准确，大小写、数字、符号处理稳定；
  2. 最有意思的一点：部分被遮挡的字母，模型通过上下文推理“补全”了出来——某英文地名中被物体挡住的字母，仍被正确还原。这说明识别与推理发生了协同：模型不只在“看”，还在“想”；
  3. 右下角一处字号极小的品牌小字出现误识别（测试时我起初都没注意到它）。小字漏识/误识是当前视觉模型的普遍短板，与输入分辨率、下采样策略直接相关。

推理补全是一把双刃剑：它显著提升真实场景的可用性，也可能“脑补”出图中并不存在的内容。评测时必须严格区分“正确补全”与“幻觉”——这是多模态评测比传统OCR评测更复杂、也更必要的环节。

（三）复杂艺术排版

第三组是展览海报：图形化大字标题、右侧竖排短文、分散的署名与策展信息、图文交织。

实测发现，较好的输出方式是“按区域归类”而非机械地从上到下罗列：主标题、竖排短文、署名、策展信息分块输出，且阅读顺序合理。这本质上考察的是版面结构理解。

对工程化落地而言，建议在提示词中直接约定结构化输出，示意如下：

  1. {
  2.   "regions": [
  3.     {"area": "顶部主标题", "text": "光影艺术展", "direction": "horizontal"},
  4.     {"area": "右侧竖排正文", "text": ["温柔纯粹的表达", "隐秘在艺术的胚胎"], "direction": "vertical-right-to-left"},
  5.     {"area": "署名与策展信息", "text": ["此去经年", "花开花梦"]}
  6.   ]
  7. }

结构化输出的好处很直接：可与真值做程序化比对，也便于下游的检索、翻译、无障碍朗读等应用直接消费。

四、把“尝鲜式测试”升级为评测方法论

个人尝鲜热闹但易逝，真正有价值的是沉淀成可复用的方法。三条建议：

1. 建立校对工作流：人工逐字比对 → 生成差异清单 → 归因分类。归因建议采用四分法：

  • 感知误差：形近字、小字漏识；
  • 排版误差：行列切分、阅读顺序错误；
  • 归一化误差：繁简转换、异体字处理方式不一致（严格说不是“错”，而是转写规范问题）；
  • 幻觉：无中生有的补全。

不同类别对应完全不同的改进路径，混在一起统计会让结论失真。

2. 用字符级指标量化。字符错误率（CER）是文档识别的通用度量，实现并不复杂：

  1. def edit_distance(a: str, b: str) -> int:
  2.     m, n = len(a), len(b)
  3.     dp = list(range(n + 1))
  4.     for i in range(1, m + 1):
  5.         prev, dp[0] = dp[0], i
  6.         for j in range(1, n + 1):
  7.             cur = dp[j]
  8.             dp[j] = min(dp[j] + 1,            # 删除
  9.                         dp[j - 1] + 1,        # 插入
  10.                         prev + (a[i - 1] != b[j - 1]))  # 替换
  11.             prev = cur
  12.     return dp[n]
  14. def cer(pred: str, gt: str) -> float:
  15.     """字符错误率 = 编辑距离 / 真值长度，越小越好"""
  16.     return 0.0 if not gt else edit_distance(pred, gt) / len(gt)

3. 固定变量：同一图片、同一提示词多次采样观察输出稳定性；调整提示词前先跑基线，确保差异可归因于模型能力而非指令措辞。

五、超越OCR：识图模式的进阶价值

识别只是切面。此轮体验中还有两个维度值得记录：

其一，矢量图形与前端代码生成。让模型依据海报生成矢量图或前端页面，其对版式层级、配色、空间关系的还原，相较早期多模态版本有可感知的提升。空间推理能力会直接“显形”在生成结果里：元素错位、比例失调，往往不是审美问题，而是空间理解问题。反过来，“生成图形再校验”也可作为一条低成本的空间能力测试路径。

其二，多模态与检索的联动仍是空白。此次体验的版本尚不支持联网检索，意味着图中实体的事实核验（碑文出自何处、署名者是谁）无法闭环。识图+检索的组合，大概率是多模态演进的下一个竞争焦点。

六、构建自己的评测集与评测流水线

要把上述方法工程化，可分三步：

  • 数据侧：从真实业务采样——票据单据、历史文献扫描件、设计物料、手机实拍，覆盖完整“难度梯度”；同时制定转写规范（保留原字形还是归一化、遮挡区域如何标注）。
  • 执行侧：评测集用对象存储统一托管，批量推理任务跑在容器平台上，输出与中间过程落入日志服务。若团队已有云环境（例如百度智能云提供的对象存储、容器、日志等通用能力），可直接复用这套基础设施，省去自建成本。
  • 分析侧：程序自动计算字符级指标，人工只复核差异清单中的“存疑项”，把精力集中在能力边界而非体力校对上。

七、结语

这轮实测最大的感受是：评价一个识图模式，“识别准确”只是入场券，真正的分水岭在于感知、结构、推理三层的协同——竖排碑文考感知，艺术排版考结构，遮挡补全考推理。三者共同勾勒出模型的能力水位与边界；而对这些边界进行系统化度量，才是尝鲜之后更值得去做的事。

最热文章