让AI产出可信：核验、版本对比与模型选型实践

大语言模型把“生成”的边际成本压到近乎为零：一份带脚注的行业简报、一份改到第四版的项目方案、一页竞品能力对比，几分钟就能成形。但知识工作的价值从来不取决于写得快，而取决于经不经得起追问。AI 产出的问题大多不在文笔，而在三类结构性偏差：

• 引用错位：给结论配了脚注，脚注却撑不起结论；
• 粒度错位：把所有变更都当作同等重要，淹没真正影响决策的少数差异；
• 能力错位：选错模型档位——要么为简单任务支付数十倍溢价，要么在难题上拿到空结果。

把这三种偏差，连同“先定范围再动手”的方法论串起来，就是一条可落地的核验流水线。

一、引用核验：从“有出处”到“有依据”

1.1 三种典型错位

拿到一份末尾列了七八条来源的行业简报，人的直觉是放松警惕：既然有链接，结论应该有依据。但“给结论配了出处”与“出处支撑了结论”是两回事，错位通常发生在三个维度：

1. 强度错位（相关 ≠ 首要原因）。来源原文只说“存在一定相关风险”，报告却转写成“行业的首要原因”。相关性证据被悄悄升格为因果断言，断言强度被放大了一个量级。
2. 时效错位（预测 ≠ 事实）。来源是三年前的一份市场预测，报告却当作“当前已经发生的事实”来引用。预测的效力会随时间衰减，陈述性数据与趋势性判断的引用规则完全不同。
3. 口径错位（对象与方法不匹配）。两份调查一份面向企业客户、一份面向个人用户，统计周期与抽样方式各异。把它们并排对比甚至直接相加，得到的数字不具备统计意义。

1.2 把核验固化成流程

依赖审阅人的敏感度不可靠，把校验动作固化成清单更稳。示意性的核验逻辑：

def verify_citation(claim, source):
    checks = {
        # 强度匹配：结论强度不得高于证据强度
        "strength": claim.level <= source.level,
        # 时效匹配：预测类来源只能支撑趋势性表述
        "timeliness": source.kind == "fact" or claim.is_trend,
        # 口径匹配：调查对象、周期、抽样方式需一致
        "caliber": source.scope == claim.scope,
    }
    failed = [k for k, v in checks.items() if not v]
    return ("通过", None) if not failed else ("退回修订", failed)

落到人工审阅，就是一张三列核对表：结论原文 / 来源原文 / 支持强度（完全支持、部分支持、不支持）。标为“不支持”的条目应当退回修订，而不是删掉脚注了事——删脚注只会让结论变成无依据断言，问题被藏得更深。

二、版本对比：把注意力集中到实质性变更

方案改到第三、第四版时，难点不是找出哪些字不一样——diff 工具几秒就能列完——而是判断每处差异意味着什么。

2.1 变更三级分类

建议先把所有差异分入三个层级，再决定投入多少注意力：

层级	典型表现	示例	处置方式
措辞级	同义替换、语序调整	“确保系统稳定运行”改为“保障系统平稳运行”	归档即可，无需上会
参数级	数值、日期、范围变化	预算 8 万元调至 9.5 万元；截止日延后 15 天	影响审批与排期，必须人工复核
责任级	主体、接口、义务归属变化	数据迁移改由另一部门负责	影响问责与协作，复核后须同步相关方

参数级与责任级之所以关键，在于它们会沿流程向外传导：预算变化触发重新审批，日期变化牵动上下游排期，责任主体变化意味着验收标准与风险敞口都换了人。若把它们混进几百处措辞修改里，审阅人很快疲劳，要紧的变更反而被淹没。

2.2 分级可以半自动化

措辞级通常占大头，可先交给程序粗筛：

def classify_hunk(hunk):
    if re.search(r"\d+(\.\d+)?\s*(万|元|%|天|人|席)", hunk.new):
        return "参数级 -> 人工复核"
    if re.search(r"(由.{2,8}负责|责任方|接口人|移交)", hunk.keywords):
        return "责任级 -> 人工复核 + 同步相关方"
    if text_similarity(hunk.old, hunk.new) >= 0.85:
        return "措辞级 -> 归档"
    return "待判定 -> 人工复核"   # 拿不准的默认升级，绝不降级

注意兜底规则：分不清的变更默认按高等级处理。自动分级压缩的是噪音，不是替代判断。

三、产品调研：把宣传语还原为可核验事实

竞品官网写着“高效协作”“企业级安全”“灵活定价”，复制进汇报材料很容易，但它们回答不了真正的决策问题。调研的本质是把不可执行的形容词，转成可核验的字段。

3.1 三类必须落地的信息

1. 可量化指标：所谓协作，同时在线人数上限多少？历史记录保留多久？并发性能有没有公开口径？
2. 计费规则：报价是否含最低席位数？计费周期按月还是按年？超出部分如何阶梯计价？
3. 缺失信息：全站找不到集成能力的说明，究竟是“不支持”，还是“仅凭现有资料无法确认”？两者必须分开记录——前者是事实，后者是信息缺口，后续需向售前确认或实测验证。

3.2 口径冲突要显式登记

同一产品的产品页、价格页、活动页口径不一致是常态：产品页宣称“不限成员”，价格页的入门套餐却限制 20 席。处理原则：以计费与合同口径为准，页面口径仅作参考，并在调研表中登记冲突项与采集时间。不要指望 AI 在合成时自行取舍——模型天然倾向给出“看起来自洽”的答案，而冲突本身才是最有价值的信息。

一张合格的调研矩阵应当长这样：

字段            | 数值/状态      | 来源页面 | 采集时间 | 置信标记
----------------|---------------|---------|---------|---------
协作人数上限    | 未标注        | 产品页   | T0      | 待确认
最低席位数      | 20 席         | 价格页   | T0      | 已确认
开放集成能力    | 缺失(无法确认) | 全站     | T0      | 待确认

“待确认”不是失败状态，而是把信息缺口显式移交给下一环节的交接单。

四、模型选型：便宜与昂贵之间有一条任务分界线

4.1 简单任务：成本差一到两个数量级

有开发者分享过一组自测数据：在会议纪要、简单缺陷修复这类日常任务上，入门档模型与旗舰档模型的正确率相当，而计费金额只有后者的 1/75（会议纪要）与 1/45（缺陷修复）。换句话说，为这类任务调用旗舰模型，多付几十倍的钱买不到可感知的质量差异。这类任务的共同特征：输入结构清晰、评价标准客观、失败成本低且人工可快速纠正。

4.2 复杂任务：单价低不等于总价低

任务变难后，账要换个算法。一些轻量化推理模型为压缩单价，输出 token 上限也更小；遇到难题，模型可能把上限全部消耗在“思考”阶段，最终交付为空。此时按输入加输出计费的账单照常产生，产出却为零：

• 有效成本 = 计费成本 ÷ 有效产出率，空结果意味着有效成本趋于无穷大；
• 任务越难，“单价”在决策中的权重越低，“完成率”的权重越高。

4.3 分级路由策略

以百度智能云为代表的云端模型服务普遍支持通过统一接口调用不同档位的模型，路由策略可以直接在应用层实现：

草稿档（约 70% 调用量）：摘要、改写、格式转换、初稿
    -> 低成本快速模型；失败自动重试一次，仍失败则升级
判断档（约 20%）：方案对比、引用核验初筛、变更分级
    -> 中档模型；输出必须附带依据，供人工复核
攻坚档（<10%）：复杂推理、架构级代码改造、长链分析
    -> 高能力模型 + 充足的思考与输出预算；宁可慢，不可空

配套两个监控指标即可运转：单位任务有效成本（总费用 ÷ 成功任务数）与空结果率（思考耗尽、截断、格式不合格的比例）。前者管预算，后者暴露路由设计不合理的位置。

五、调研方法论：先立规矩，再让 AI 动手

临时接到行业调研任务，最麻烦的往往不是写，而是不知道从哪开始。直接对模型说“调研某市场并出一份汇报”，它大概率把不同城市、不同年份、不同统计口径的数字搅在一起，产出一份看似完整、实则不可引用的文档。动手前先固定四个变量：

1. 范围：地域（哪些城市）、对象（哪类主体）、时间窗（起止年月），写进调研说明的首页；
2. 口径：采用什么统计定义（面积口径、营收口径、人员规模口径），全程不换；
3. 来源分级：一手数据 > 权威机构报告 > 媒体转述 > 厂商自述。厂商自述只能登记为“该厂商的表态”，不能当作行业事实——单一品牌对自身服务的宣传，覆盖的只是部分网点与套餐，不能外推为行业普遍状况；
4. 可回溯性：每条结论登记来源、采集时间与链接状态。一份报告的价值之一是半年后仍能找到出处，这要求证据在生成时就归档，而不是事后补录。

四项固定后，AI 的角色被限定为“按既定口径汇总与起草”，而非“自由发挥地研究”。前者的产出可以核验，后者的产出只能重做。

六、结语：核验是流水线，不是责任心

引用核验、变更分级、事实还原、模型路由、范围先行——五个环节单独看都不复杂，组合起来就是一条“AI 生成 → 自动粗筛 → 人工复核实质项 → 证据归档”的流水线。它的真正意义，是把产出可信度从“审阅人是否足够仔细”这种不可控的个人素质，转化为可复用、可审计、可交接的流程资产。AI 负责规模，流程负责可信，人负责判断——三者各就其位，知识工作的效率提升才不会以质量失控为代价。