简介:谷歌决策模型适合封闭式判断,如是否违规、工单分类、风险打分。本文说明它与通用大模型的区别,梳理三类决策任务的适用场景,并给出成本核算口径、多模态选型要点和小规模评测方法。读完可判断哪些业务适合改用决策模型,并避免被单价误导。
本文基于一篇关于谷歌决策模型的原始报道改写。原文给出的价格信息包括每百万输入Token约0.10美元、输出免费,但未给出模型的正式名称、版本号和官方价格页,因此下文涉及价格的内容都需要以官方定价为准,并以查询当天的页面为依据。
选型前,先确认四件事:模型的正式名称和版本、发布方提供的官方文档、输入和输出分别的计费规则、价格页的查询日期。只要其中一项缺失,报价就只能作为参考。
很多平台按输入和输出分别计费,输出Token通常比输入贵。如果某个决策模型宣传输出免费,需要确认这是适用于全部请求的政策,还是仅限特定接口、地区或活动期间。规则不清楚时,应按输出也收费的情况做预算。
通用大模型擅长开放式生成,例如写文章、总结资料、回答问题。它的输出是自由文本,业务系统需要再解析,格式可能偶尔出错,耗时也会随输出长度波动。
决策模型把输出限制在预定义的标签、选项或分数区间内。业务系统拿到的是可直接使用的结果,例如”是””否”或”高风险”,解析成本低,接入后的行为也更容易预测。它主要适合以下三类需求:
决策模型不擅长长文写作和复杂推理。这类任务仍应交给通用大模型。
| 决策类型 | 输出形式 | 典型场景 | 上线前需要定义的内容 |
|---|---|---|---|
| Yes/No | 二元判断 | 内容是否违规、订单是否异常 | 判定阈值与无法判断时的兜底策略 |
| 多项选择 | 从预设选项中选一个 | 工单分类、意图识别、商品类目 | 选项的互斥关系、”不确定”选项的处理方式 |
| 评分标准打分 | 分数或等级 | 风险评分、质量评估、优先级排序 | 每个分数对应的判定标准,以及放行、复核、拦截的阈值 |
原始资料提到,多项选择最多可支持255个选项。选项数量越多,模型越容易混淆相近类别,因此要用真实样本检查准确率。
评分类任务适合和规则引擎配合。例如模型输出0到1之间的风险分,业务侧设定两个阈值:低于下限直接放行,高于上限直接拦截,中间区间转人工复核。阈值应根据历史样本的误判成本确定,而不是直接沿用默认值。
原始资料给出的价格是每百万输入Token约0.10美元。按这个单价,单次请求成本的计算方式如下:
单次输入成本 = 输入Token数 / 1,000,000 × 输入单价单次输出成本 = 输出Token数 / 1,000,000 × 输出单价
假设每次请求输入约500 Token,1000次请求共消耗50万Token,输入成本约为0.05美元。若输出确实免费,总成本就是这个数。若输出按某个单价收费,还需要加上输出部分。
实际总成本比单次公式更复杂,需要把以下因素计入:
关于批处理,原始资料说一次可以处理1000个问题。但批处理不必然降低输入成本。如果每个问题都要附带相同的指令和上下文,总输入Token仍会随问题数增加。正确的算法是:用总输入Token数除以问题数,得到平均每个问题的输入量,再乘以单价。只有当平台支持共享前缀或缓存,且规则允许时,批处理才可能明显摊薄成本。
多模态能力的意义在于,模型可以直接读取图片、截图或扫描件,减少”先OCR再分类”的步骤。很多业务判断依赖版式或图像内容,例如:
选型时需要确认以下限制:支持的格式、单张图片的尺寸上限、单次请求的页数上限、上下文长度,以及输出结构是否稳定。这些参数应以平台官方文档为准。
直接使用多模态模型与”OCR加文本模型”两条路线,成本结构不同。前者的成本主要来自图像或文档的Token消耗;后者要额外支付OCR费用,并维护两个环节的错误传递。哪条路线更划算,需要用同一批真实样本分别测试准确率和单次成本。
当团队同时使用通用生成模型、向量模型、审核模型和决策模型时,多套SDK、鉴权方式和计费报表会增加维护成本。统一的模型