图像对抗伪装：让OCR与多模态模型“看而不见”

在验证码对抗、隐私脱敏与内容保护等场景中，一个反复出现的需求是：同一张图片，人眼能顺利读出文字，机器识别却频频失败。传统做法是加噪、模糊、扭曲，但这类方法往往“杀敌一千自损八百”——机器没挡住多少，人眼先受不了。近年来的研究给出了一条更优雅的思路：不去破坏字符本身，而是把字符信息编码进人眼擅长、机器却容易丢失的视觉线索中。

本文围绕这一思路展开，先讲清原理层面的两个支柱——虚幻轮廓与对抗错觉，再给出一套可落地的工程实现方案，最后讨论评估方法与边界条件。文中的技术路径参考了公开研究中“彩色对接光栅 + 对抗错觉”的组合思想，但我们只聚焦可复现的通用实现，不绑定任何具体平台或产品。

---

一、问题定义：为什么常规扰动挡不住现代识别模型

要设计有效的伪装方案，先要理解对手是怎么“看”图的。

现代OCR流水线通常包含：图像预处理（缩放、灰度化、二值化）→ 文本检测 → 文本识别。多模态大模型则走视觉编码器（如基于ViT的架构）→ 特征对齐 → 语言解码的路径。二者的共同点是：它们都高度依赖局部边缘与纹理的连续性。字符笔画之所以能被识别，是因为边缘处存在显著的灰度跃变，卷积核或注意力机制能稳定捕捉这些跃变。

因此，简单的加噪之所以效果有限，原因在于：

• 随机噪声在缩放与池化过程中容易被平均掉，边缘信号依然残留；
• 强噪声虽然破坏边缘，但同样严重损害人眼可读性；
• 对抗扰动若只针对单一模型优化，迁移性差，换个模型即失效。

真正有效的方案需要同时满足两个条件：人眼感知通道保留完整语义，机器特征通道丢失关键线索。这正是“感知差异”思路的出发点。

---

二、原理支柱一：用虚幻轮廓“骗过”人眼，让机器丢失边缘

2.1 虚幻轮廓的生理基础

人类视觉系统并不只是被动接收像素亮度，而是主动进行知觉组织与轮廓补全。格式塔心理学早就指出，当局部刺激存在规律性的间断时，大脑会倾向于将其组织为连续的整体。经典的马赫带、卡尼莎三角等错觉都说明：边缘不仅来自亮度差，也来自大脑对相位关系的推断。

这意味着，如果我们把字符的“实心笔画”替换为一组精心排布的条纹，只要条纹之间的相位关系足够规律，人眼依然能“脑补”出完整字形；而机器看到的只是一堆周期性纹理，缺乏稳定的边缘跃变。

2.2 彩色对接光栅的构造逻辑

具体做法可拆为四步：

1. 提取字符掩码：将原图灰度化，用Otsu阈值分割得到文字的二值掩码，区分前景（字符）与背景。
2. 生成周期性光栅：用正弦函数生成两组空间频率相同、方向相同、但相位相差半个周期的彩色光栅。
3. 按掩码分配相位：字符内部填充一组相位的光栅，背景填充另一组。由于两组光栅频率方向一致，字符内外具有相近的颜色分布与平均亮度，传统基于灰度跃变的边缘检测在此失效。
4. 形成相位错位边界：真正的“边界”不再是亮度突变，而是条纹在字符轮廓处的相位错位。人眼能将这些局部不连续的条纹组织成完整字符，机器则在缩放、池化、特征提取中逐步丢失这种细微的相位关系。

这里的关键洞察是：把“亮度对比”换成“相位对比”。前者是机器最敏感的强信号，后者是机器最易忽略的弱信号。

2.3 局部形变增强鲁棒性

纯周期光栅存在一个风险：规则性太强，某些频域分析手段仍可能恢复结构。为此可引入低频随机位移场，对字符轮廓做轻微的局部形变。这种形变幅度小，不足以破坏人眼对字形的整体把握，但会打乱严格的周期性，进一步削弱机器侧的可预测性。

---

三、原理支柱二：对抗错觉，把特征推向指定语义

仅靠光栅还只是“让机器看不清”，而对抗错觉的目标是“让机器看错”——把视觉编码器提取的特征，推向攻击者指定的语义方向。

3.1 白盒场景：梯度驱动的扰动优化

若可访问目标模型参数，可直接对图像施加小幅扰动，最大化指定文本的生成概率。形式化地，优化目标为：

max_δ  P(target_text | f(x + δ))
s.t.   ||δ||_∞ ≤ ε

其中 f 为视觉语言模型，x 为光栅伪装后的图像。通过反向传播迭代更新 δ，即可在保持人眼观感的前提下偏移模型特征。

3.2 黑盒场景：代理模型与特征相似度

无法获取目标模型参数时，常用做法是用多个公开的视觉-文本对齐模型作为代理，优化图像特征与目标文本特征之间的相似度：

max_δ  sim( E_img(x + δ), E_text(target_text) )

由于不同模型的视觉编码器在特征空间上存在一定共性，针对多个代理同时优化，可显著提升扰动向未知模型迁移的概率。这也是“对抗错觉”能与光栅方案叠加的原因：光栅负责削弱字符线索，扰动负责定向偏移语义，二者在不同层面协同。

---

四、工程实现：一套可复现的参考流程

下面给出聚焦“彩色对接光栅”部分的实现要点，代码为示意性伪代码，便于理解流程而非直接运行。

4.1 掩码提取与轮廓形变

import cv2, numpy as np
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
_, mask = cv2.threshold(gray, 0, 255,
                        cv2.THRESH_BINARY + cv2.THRESH_OTSU)
# 低频随机位移场：对轮廓做轻微形变
h, w = mask.shape
disp = cv2.GaussianBlur(np.random.randn(h, w).astype(np.float32),
                        (0, 0), sigmaX=8) * amp
map_x = np.tile(np.arange(w), (h, 1)) + disp
map_y = np.tile(np.arange(h)[:, None], (1, w)) + disp.T
warped = cv2.remap(img, map_x, map_y, cv2.INTER_LINEAR)

形变幅度 amp 需谨慎控制：过大则人眼也难辨认，过小则对抗增益有限，通常建议在字符高度的个位数百分比内取值。

4.2 多通道光栅编码

def grating(h, w, freq, theta, phase):
    yy, xx = np.mgrid[0:h, 0:w]
    proj = xx * np.cos(theta) + yy * np.sin(theta)
    return 0.5 + 0.5 * np.sin(2 * np.pi * freq * proj + phase)
# 不同方向/频率编码到不同颜色通道
r = grating(h, w, f1, t1, 0.0)
g = grating(h, w, f2, t2, np.pi)   # 相位反转半周期
b = grating(h, w, f3, t3, 0.0)
fg = np.stack([r, g, b], axis=-1)
bg = np.stack([grating(h, w, f1, t1, np.pi),
               grating(h, w, f2, t2, 0.0),
               grating(h, w, f3, t3, np.pi)], axis=-1)
out = np.where(mask[..., None] > 0, fg, bg)

关键参数有三个：频率决定条纹疏密（过高人眼难辨，过低易被机器滤除）、方向影响不同通道的独立性、相位差必须严格为半周期以保证字符内外平均颜色一致。

4.3 叠加局部扰动与合成

在光栅结果上再叠加小幅、低频的对抗扰动，并做通道合成与色彩校正。需注意扰动幅度应与人眼可见阈值保持距离，建议通过小规模主观评测确定上限。

---

五、评估方法：怎么证明“人看得见、机看不见”

一套方案是否有效，不能只靠感觉，需要双向评估：

• 人眼侧：组织小规模可读性测试，统计识别准确率与响应时间；也可用感知质量指标辅助，但主观测试仍是金标准。
• 机器侧：分别测试通用OCR引擎与多模态大模型的识别结果，记录字符级准确率；对多模态模型还需测试其描述生成是否出现语义偏移。
• 迁移性：在未参与优化的模型上复测，观察成功率衰减幅度，这是判断方案实用性的核心指标。

评估时应固定图像分辨率、压缩参数与传输链路，因为有损压缩与缩放会显著改变相位线索，这也是该方案在实际部署中必须考虑的因素。

---

六、边界条件与工程权衡

任何对抗方案都有其适用边界，实践中需明确几点：

1. 分辨率敏感性：光栅频率与图像缩放强相关，跨分辨率迁移时需重新标定参数。
2. 压缩鲁棒性：强有损压缩可能抹平相位错位，需在编码环节预留冗余或采用更鲁棒的方向组合。
3. 可读性下限：形变与扰动叠加后，人眼可读性会下降，需在安全强度与可用性之间取平衡。
4. 合规使用：此类技术应仅用于合法的隐私保护、内容防抓取与安全测试场景，不得用于规避合法的内容审核或实施欺诈。

---

七、小结

让OCR与多模态模型“看而不见”，本质是一场关于感知通道差异的博弈。彩色对接光栅把字符信息从机器敏感的亮度边缘转移到机器易失的相位关系中，对抗错觉则进一步把特征空间推向指定语义。二者叠加，形成“削弱线索 + 定向偏移”的双层防线。

对开发者而言，落地重点在于三点：掩码与形变的精细控制、光栅频率与相位的参数标定、以及跨模型跨分辨率的迁移验证。理解这套原理后，即便不依赖任何特定平台能力，也能在自有图像处理链路中构造出具备实用强度的伪装方案。