简介:多模态模型常靠语言先验和选项位置"蒙对",答案看似正确,却可能没用到图像。本文讲清系统一模型的工作机制,给出可运行的自检脚本,并说明何时分层升级到推理模型,读完可以直接套用检测流程和路由骨架,在延迟、成本与准确率之间做出取舍。
当模型只返回一个选项字母和一个概率时,输出本身无法证明它用到了图像。多模态模型在视觉问答任务上常有语言先验问题。训练数据里”香蕉是黄色”的说法出现得太多,模型可能学到的是”见到香蕉就答黄色”,而不是”看这根香蕉是不是青的”。把图遮住、换成噪声图,甚至换成无关图片,答案却没有变化,这就是”秒选”的破绽。
本文讨论的是分类式调用,即给定候选选项、直接返回标签与概率的场景,不覆盖让模型生成自由文本的视觉问答。
系统一模型指不经过显式推理链,直接从候选集合中选出答案并给出置信度的调用方式。名字借自心理学的双系统理论:系统一是快速直觉,系统二是慢速推理。常见形式就是”给选项、返回 label 和 probability”的分类式接口。
系统一的优点是快、便宜、适合批量处理。缺点是判断依据不透明,错误往往静默发生,调用方很难第一时间察觉。
让模型每次都写几百字推理,在很多环节是浪费。以下场景都依赖系统一的判断:
这些场景有共同特点:单次决策的价值不高,但调用次数很多,延迟和成本比推理深度更重要。
| 失效类型 | 典型表现 | 验证方法 |
|---|---|---|
| 语言/答案先验 | 换图不换答案 | 遮挡图中相关区域、替换为纯噪声、替换为无关图,记录答案变化率 |
| 选项位置偏置 | 偏爱 A 或最后一个选项 | 打乱选项顺序,统计答案漂移率 |
| 置信度虚高 | 答错也给 0.95 | 按置信度分桶,画置信度与准确率的校准曲线 |
| 短捷径特征 | 靠背景、水印、题干措辞作答 | 构造反事实样本,在跨数据集上测试 |
其中选项顺序敏感性最容易复现,也最容易被忽略。同一道题只调换 A、B、C、D 的排列,准确率就可能明显下降。这说明模型学到的可能是位置模式,而不是题目语义。
下面的脚本做两件事:一是选项顺序扰动一致性测试,二是图像消融测试。运行前需要准备以下环境:
str | None 类型标注需要它。pip install "openai>=1.0" 安装。OPENAI_API_KEY。使用兼容接口时,还需设置 OPENAI_BASE_URL。MODEL_ID,填写你要测试的模型名称。
import jsonimport osimport randomfrom collections import Counterfrom openai import OpenAIclient = OpenAI(api_key=os.environ["OPENAI_API_KEY"],base_url=os.environ.get("OPENAI_BASE_URL"), # 未设置时使用官方默认地址)MODEL_ID = os.environ.get("MODEL_ID", "your-model-id")def call_model(prompt, image_url=None, model=MODEL_ID, **extra):"""调用模型,返回 (选项标签, 置信度)。解析失败时返回 ("", 0.0)。"""if image_url:content = [{"type": "text", "text": prompt},{"type": "image_url", "image_url": {"url": image_url}},]else:content = promptresp = client.chat.completions.create(model=model,messages=[{"role": "user", "content": content}],temperature=0.0,response_format={"type": "json_object"},**extra,)try:data = json.loads(resp.choices[0].message.content)choice = str(data.get("choice", "")).strip().upper()conf = float(data.get("confidence", 0.0))except (json.JSONDecodeError, TypeError, ValueError):return "", 0.0return choice, confdef build_prompt(question, options):lines = [f"问题:{question}"]for key, text in options.items():lines.append(f"{key}. {text}")lines.append('只输出 JSON,格式为 {"choice": "A/B/C/...", "confidence": 0 到 1 之间的小数}')return "\n".join(lines)def robustness_check(sample, n_repeat=5):"""sample 结构:{"q": 题干, "o": {"A": "...", "B": "..."}, "gold": "正确选项的原始标签", "img": 图片URL或None}"""question, options, img = sample["q"], sample["o"], sample.get("img")gold_text = options[sample["gold"]]texts = list(options.values())# 1. 选项顺序扰动:每次打乱选项,映射回原文本后统计一致性votes, confs = [], []for _ in range(n_repeat):random.shuffle(texts)remap = {chr(65 + i): t for i, t in enumerate(texts)} # 新标签 -> 选项文本choice, conf = call_model(build_prompt(question, remap), img)votes.append(remap.get(choice)) # 解析失败时为 Noneconfs.append(conf)top_text, top_count = Counter(votes).most_common(1)[0]# 2. 图像消融:去掉图片后再答一次,答对说明纯靠先验也能蒙对blind_choice, _ = call_model(build_prompt(question, options), None)return {"gold": sample["gold"],"consistency": top_count / n_repeat,"accuracy": top_text == gold_text,"avg_conf": sum(confs) / len(confs),"blind_accuracy": options.get(blind_choice) == gold_text,}
脚本里的 random.shuffle 会就地修改列表,每轮都在上一轮的顺序上继续打乱,这样得到的是一组随机排列。若选项文本存在重复,映射会出错,测试前应先去重。
判读标准很直接:
consistency 明显低于 1.0,说明存在选项顺序偏置。此时应固定选项排列,或对多种排列的结果做多数投票。blind_accuracy 为 True 的样本占比过高,说明这批题对模型没有区分度。应换成更难或反事实的测试集。avg_conf 高但 accuracy 低,说明置信度没有校准。不要直接拿它当阈值卡线上流量。判断依据是错误代价乘以决策的不可逆程度,而不是”题目看起来难不难”。
置信度阈值应做成可配置项,并按业务线分别调整,与知识库检索阈值的管理方式一致。线上出现的错误样本,优先通过补充知识、调整分段、修改 prompt 来处理,而不是直接换更大的模型。
单次调用成本的基本公式如下,单价按元每千 Token 计:
单次成本(元)= 输入 Token / 1000 × 输入单价 + 输出 Token / 1000 × 输出单价月度成本(元)= 单次成本 × 平均 QPS × 有效秒数 × 30
平均 QPS 应按真实流量的全天均值计算,有效秒数按业务实际运行时段填写。若按全天满载估算,取 86400 秒。
关键变量是输出 Token。系统一模型的输出通常只有几个到几十个 Token,即一个标签加一个置信度。推理型模型会先生成数百乃至数千 Token 的思维过程,即使最终答案同样只是一个字母。
下面用假设的数字做一次演算,价格仅为示意,不代表任何平台的真实报价。假设两类模型的输入单价都是 0.001 元每千 Token,输入长度 800 Token。系统一模型输出 30 Token,单价 0.002 元每千 Token。推理模型输出 1500 Token,单价 0.008 元每千 Token。
这个例子说明,分层路由的成本主要取决于升级比例。升级比例可以通过阈值调节,因此需要用真实数据测算,而不是凭感觉定。
优化方向有三个:
多模型接入的复杂度往往高于调 prompt。常见做法是把各家模型放在统一网关之后,通过配置切换模型、参数和 prompt 模板,业务代码不直接感知底层差异。这样,从系统一升级到系统二时,通常只需要修改路由配置。
最小可用的路由骨架如下,它复用了上面的 call_model,并通过 **params 传入各模型的参数:
FAST = ("fast-model-id", {"max_tokens": 64})REASONING = ("reasoning-model-id", {"max_tokens": 2048})def decide(prompt, image_url=None, fast_threshold=0.8):model, params = FASTchoice, conf = call_model(prompt, image_url, model=model, **params)if conf < fast_threshold: # 低置信度,升级复核model, params = REASONINGchoice, conf = call_model(prompt, image_url, model=model, **params)return choice, conf, model
注意两点。第一,推理模型不一定支持 temperature=0.0 或 response_format,需要按服务商文档删减参数,必要时单独改造 call_model。第二,fast_threshold 不应凭经验拍定,而要在离线评测集上调出来。具体做法是:对每条样本记录快模型的置信度、快模型是否答对,以及推理模型是否答对。然后在 0.5 到 0.95 之间扫描阈值,分别计算每个阈值下的最终准确率和升级比例。最后选择满足准确率目标、且升级比例在成本预算之内的阈值。
线上失败往往是静默的,只看输出的人很难发现模型错在哪里。上线前应先构造问题集,逐条生成模型输出,由人工预先标注标准答案,形成测试集。然后比对模型输出与标准答案,统计准确率,并按错误类型分组查看。确认达到目标后,再逐步放量,并保留线上抽样复核的机制。
测试集应覆盖前面四类失效情形。只使用容易的样本,会高估模型的能力。
文中提到的平台链接属于推广内容。本文不构成对任何服务商的推荐。选型时,应同时比较其他平台的调用价格、速率限制和公开评测结果,再根据自己的业务数据做决定。
系统一模型是为高频、低延迟、低单价场景设计的工具。它的主要风险在于高置信度可能掩盖模型并未理解题目的事实。实际工作中可以分三步走:用选项扰动和图像消融检查模型到底依据什么作答;用离线评测校准置信度阈值,决定何时升级;用分层路由把推理成本集中在真正需要的样本上。