AI秒选答案真看懂图吗?系统一模型选型指南

作者:JC2026.11.17 03:14浏览量:0

简介:多模态模型常靠语言先验和选项位置"蒙对",答案看似正确,却可能没用到图像。本文讲清系统一模型的工作机制,给出可运行的自检脚本,并说明何时分层升级到推理模型,读完可以直接套用检测流程和路由骨架,在延迟、成本与准确率之间做出取舍。

先说结论:秒选不等于看懂

当模型只返回一个选项字母和一个概率时,输出本身无法证明它用到了图像。多模态模型在视觉问答任务上常有语言先验问题。训练数据里”香蕉是黄色”的说法出现得太多,模型可能学到的是”见到香蕉就答黄色”,而不是”看这根香蕉是不是青的”。把图遮住、换成噪声图,甚至换成无关图片,答案却没有变化,这就是”秒选”的破绽。

本文讨论的是分类式调用,即给定候选选项、直接返回标签与概率的场景,不覆盖让模型生成自由文本的视觉问答。

什么是系统一模型

系统一模型指不经过显式推理链,直接从候选集合中选出答案并给出置信度的调用方式。名字借自心理学的双系统理论:系统一是快速直觉,系统二是慢速推理。常见形式就是”给选项、返回 label 和 probability”的分类式接口。

系统一的优点是快、便宜、适合批量处理。缺点是判断依据不透明,错误往往静默发生,调用方很难第一时间察觉。

为什么工程上仍然需要它

让模型每次都写几百字推理,在很多环节是浪费。以下场景都依赖系统一的判断:

  • Agent 的工具与路径选择:一轮任务可能要做几十次”下一步调用哪个工具”的决策。
  • RAG 的分段筛选:系统在知识库中找出相关性超过阈值的分段,再交给大模型总结。这里的相关性判定就是典型的系统一决策。
  • 内容审核、意图路由、多路召回打分。
  • 批量素材处理,例如视觉标签提取、精彩片段分析、跨模态语义检索。

这些场景有共同特点:单次决策的价值不高,但调用次数很多,延迟和成本比推理深度更重要。

四种”没看懂”的表现

失效类型 典型表现 验证方法
语言/答案先验 换图不换答案 遮挡图中相关区域、替换为纯噪声、替换为无关图,记录答案变化率
选项位置偏置 偏爱 A 或最后一个选项 打乱选项顺序,统计答案漂移率
置信度虚高 答错也给 0.95 按置信度分桶,画置信度与准确率的校准曲线
短捷径特征 靠背景、水印、题干措辞作答 构造反事实样本,在跨数据集上测试

其中选项顺序敏感性最容易复现,也最容易被忽略。同一道题只调换 A、B、C、D 的排列,准确率就可能明显下降。这说明模型学到的可能是位置模式,而不是题目语义。

一段脚本,自检模型是否在”蒙”

下面的脚本做两件事:一是选项顺序扰动一致性测试,二是图像消融测试。运行前需要准备以下环境:

  • Python 3.10 及以上版本,代码中的 str | None 类型标注需要它。
  • openai 1.x 版本的 SDK,可执行 pip install "openai>=1.0" 安装。
  • 环境变量 OPENAI_API_KEY。使用兼容接口时,还需设置 OPENAI_BASE_URL。
  • 环境变量 MODEL_ID,填写你要测试的模型名称。
  1. import json
  2. import os
  3. import random
  4. from collections import Counter
  5. from openai import OpenAI
  6. client = OpenAI(
  7. api_key=os.environ["OPENAI_API_KEY"],
  8. base_url=os.environ.get("OPENAI_BASE_URL"), # 未设置时使用官方默认地址
  9. )
  10. MODEL_ID = os.environ.get("MODEL_ID", "your-model-id")
  11. def call_model(prompt, image_url=None, model=MODEL_ID, **extra):
  12. """调用模型,返回 (选项标签, 置信度)。解析失败时返回 ("", 0.0)。"""
  13. if image_url:
  14. content = [
  15. {"type": "text", "text": prompt},
  16. {"type": "image_url", "image_url": {"url": image_url}},
  17. ]
  18. else:
  19. content = prompt
  20. resp = client.chat.completions.create(
  21. model=model,
  22. messages=[{"role": "user", "content": content}],
  23. temperature=0.0,
  24. response_format={"type": "json_object"},
  25. **extra,
  26. )
  27. try:
  28. data = json.loads(resp.choices[0].message.content)
  29. choice = str(data.get("choice", "")).strip().upper()
  30. conf = float(data.get("confidence", 0.0))
  31. except (json.JSONDecodeError, TypeError, ValueError):
  32. return "", 0.0
  33. return choice, conf
  34. def build_prompt(question, options):
  35. lines = [f"问题:{question}"]
  36. for key, text in options.items():
  37. lines.append(f"{key}. {text}")
  38. lines.append('只输出 JSON,格式为 {"choice": "A/B/C/...", "confidence": 0 到 1 之间的小数}')
  39. return "\n".join(lines)
  40. def robustness_check(sample, n_repeat=5):
  41. """
  42. sample 结构:
  43. {"q": 题干, "o": {"A": "...", "B": "..."}, "gold": "正确选项的原始标签", "img": 图片URL或None}
  44. """
  45. question, options, img = sample["q"], sample["o"], sample.get("img")
  46. gold_text = options[sample["gold"]]
  47. texts = list(options.values())
  48. # 1. 选项顺序扰动:每次打乱选项,映射回原文本后统计一致性
  49. votes, confs = [], []
  50. for _ in range(n_repeat):
  51. random.shuffle(texts)
  52. remap = {chr(65 + i): t for i, t in enumerate(texts)} # 新标签 -> 选项文本
  53. choice, conf = call_model(build_prompt(question, remap), img)
  54. votes.append(remap.get(choice)) # 解析失败时为 None
  55. confs.append(conf)
  56. top_text, top_count = Counter(votes).most_common(1)[0]
  57. # 2. 图像消融:去掉图片后再答一次,答对说明纯靠先验也能蒙对
  58. blind_choice, _ = call_model(build_prompt(question, options), None)
  59. return {
  60. "gold": sample["gold"],
  61. "consistency": top_count / n_repeat,
  62. "accuracy": top_text == gold_text,
  63. "avg_conf": sum(confs) / len(confs),
  64. "blind_accuracy": options.get(blind_choice) == gold_text,
  65. }

脚本里的 random.shuffle 会就地修改列表,每轮都在上一轮的顺序上继续打乱,这样得到的是一组随机排列。若选项文本存在重复,映射会出错,测试前应先去重。

判读标准很直接:

  • consistency 明显低于 1.0,说明存在选项顺序偏置。此时应固定选项排列,或对多种排列的结果做多数投票。
  • blind_accuracy 为 True 的样本占比过高,说明这批题对模型没有区分度。应换成更难或反事实的测试集。
  • avg_conf 高但 accuracy 低,说明置信度没有校准。不要直接拿它当阈值卡线上流量。

什么时候切到系统二

判断依据是错误代价乘以决策的不可逆程度,而不是”题目看起来难不难”。

  • 需要多步推理、跨文档比对、事实逻辑判断或专题报告写作的任务,应使用带推理能力的模型,或显式使用思维链提示。
  • 决策可以回滚、错误代价很低的任务,例如打标签和召回打分,保留系统一即可,把预算省下来。
  • 混合策略最实用:先用系统一做粗筛和路由,只对低置信度样本升级到推理模型复核。这样既控制了成本,也守住了准确率下限。

置信度阈值应做成可配置项,并按业务线分别调整,与知识库检索阈值的管理方式一致。线上出现的错误样本,优先通过补充知识、调整分段、修改 prompt 来处理,而不是直接换更大的模型。

成本账:一次秒选和一次深想差多少

单次调用成本的基本公式如下,单价按元每千 Token 计:

  1. 单次成本(元)= 输入 Token / 1000 × 输入单价 + 输出 Token / 1000 × 输出单价
  2. 月度成本(元)= 单次成本 × 平均 QPS × 有效秒数 × 30

平均 QPS 应按真实流量的全天均值计算,有效秒数按业务实际运行时段填写。若按全天满载估算,取 86400 秒。

关键变量是输出 Token。系统一模型的输出通常只有几个到几十个 Token,即一个标签加一个置信度。推理型模型会先生成数百乃至数千 Token 的思维过程,即使最终答案同样只是一个字母。

下面用假设的数字做一次演算,价格仅为示意,不代表任何平台的真实报价。假设两类模型的输入单价都是 0.001 元每千 Token,输入长度 800 Token。系统一模型输出 30 Token,单价 0.002 元每千 Token。推理模型输出 1500 Token,单价 0.008 元每千 Token。

  • 系统一单次成本:0.8 × 0.001 + 0.03 × 0.002 = 0.00086 元。
  • 推理模型单次成本:0.8 × 0.001 + 1.5 × 0.008 = 0.0128 元。
  • 按平均 1 QPS、30 天、全天运行计算,每月约 2,592,000 次调用。全部使用系统一约需 2,229.12 元,全部使用推理模型约需 33,177.6 元。
  • 若系统一先跑全部流量,再把约 10% 的低置信度样本升级到推理模型,月成本约为 2,229.12 + 0.1 × 33,177.6 = 5,546.88 元。

这个例子说明,分层路由的成本主要取决于升级比例。升级比例可以通过阈值调节,因此需要用真实数据测算,而不是凭感觉定。

优化方向有三个:

  1. 压缩输入:对检索片段去重、截断、重排,只保留高相关分段。
  2. 分层调用:高置信度样本直接放行,低置信度样本才进入大模型。
  3. 用 Prompt 工程或轻量微调替代大模型硬扛。在数据不能出私域、算力有限的条件下,先验证 Prompt 调优能否达到目标质量,再决定是否投入微调。

路由骨架与阈值设定

多模型接入的复杂度往往高于调 prompt。常见做法是把各家模型放在统一网关之后,通过配置切换模型、参数和 prompt 模板,业务代码不直接感知底层差异。这样,从系统一升级到系统二时,通常只需要修改路由配置。

最小可用的路由骨架如下,它复用了上面的 call_model,并通过 **params 传入各模型的参数:

  1. FAST = ("fast-model-id", {"max_tokens": 64})
  2. REASONING = ("reasoning-model-id", {"max_tokens": 2048})
  3. def decide(prompt, image_url=None, fast_threshold=0.8):
  4. model, params = FAST
  5. choice, conf = call_model(prompt, image_url, model=model, **params)
  6. if conf < fast_threshold: # 低置信度,升级复核
  7. model, params = REASONING
  8. choice, conf = call_model(prompt, image_url, model=model, **params)
  9. return choice, conf, model

注意两点。第一,推理模型不一定支持 temperature=0.0 或 response_format,需要按服务商文档删减参数,必要时单独改造 call_model。第二,fast_threshold 不应凭经验拍定,而要在离线评测集上调出来。具体做法是:对每条样本记录快模型的置信度、快模型是否答对,以及推理模型是否答对。然后在 0.5 到 0.95 之间扫描阈值,分别计算每个阈值下的最终准确率和升级比例。最后选择满足准确率目标、且升级比例在成本预算之内的阈值。

上线前的效果评测

线上失败往往是静默的,只看输出的人很难发现模型错在哪里。上线前应先构造问题集,逐条生成模型输出,由人工预先标注标准答案,形成测试集。然后比对模型输出与标准答案,统计准确率,并按错误类型分组查看。确认达到目标后,再逐步放量,并保留线上抽样复核的机制。

测试集应覆盖前面四类失效情形。只使用容易的样本,会高估模型的能力。

关于文中的平台链接

文中提到的平台链接属于推广内容。本文不构成对任何服务商的推荐。选型时,应同时比较其他平台的调用价格、速率限制和公开评测结果,再根据自己的业务数据做决定。

小结

系统一模型是为高频、低延迟、低单价场景设计的工具。它的主要风险在于高置信度可能掩盖模型并未理解题目的事实。实际工作中可以分三步走:用选项扰动和图像消融检查模型到底依据什么作答;用离线评测校准置信度阈值,决定何时升级;用分层路由把推理成本集中在真正需要的样本上。