简介:大模型价格并非统一下跌,旧模型和小模型降价快,旗舰模型仍然昂贵。本文讲解Token计费公式、用脚本估算月成本,并介绍任务分层、级联路由、缓存和上下文裁剪等降本方法,帮你在选型时直接算清账。
同样是大模型,价格走势差别很大。旧模型和中小模型的推理价格下降很快,部分行业分析机构估计,同等能力的推理成本每年下降数倍到一个数量级不等。旗舰模型因为需求旺盛,降价压力小,价格仍然偏高。所以”成本什么时候降下来”没有统一答案,关键看你用的是哪一层模型。
不同机构的估计口径也不一样,有的按单位Token计,有的按完成某项任务的成本计。引用这类数字前,应先确认口径。
以2022年OpenAI的text-davinci-003为例,其公开标价约为每百万输入Token 20美元。当前部分小模型的标价已降到每百万Token零点几美元。两者相比,降幅可达几百倍。具体倍数取决于对比的模型与价格日期,请以各厂商官方价格页为准。
大多数大模型API按Token计费,输入(prompt)和输出(completion)分开定价,输出单价通常更高。单次调用成本的计算方式如下:
单次调用成本 = 输入Token数 / 1,000,000 × 输入单价 + 输出Token数 / 1,000,000 × 输出单价
月度成本还要加上微调、向量检索和存储等费用。
长上下文和RAG场景中,输入Token常常是主要成本。例如把一份20页的PDF整篇放进上下文并反复提问,输入消耗可能远高于输出。
下面的脚本可以估算日成本和月成本:
def estimate_cost(input_tokens, output_tokens,in_price_per_mtok, out_price_per_mtok, calls=1):"""按每百万Token单价估算调用成本,单价与结果使用同一币种"""in_cost = input_tokens / 1_000_000 * in_price_per_mtokout_cost = output_tokens / 1_000_000 * out_price_per_mtokreturn (in_cost + out_cost) * calls# 示例:客服问答,日均5万次调用(单价为假设值)daily = estimate_cost(input_tokens=1200, output_tokens=300,in_price_per_mtok=0.5, out_price_per_mtok=1.5,calls=50_000)print(f"日成本: {daily:.2f}, 月成本(按30天): {daily * 30:.2f}")
把单价换成不同模型的官方报价,就能得到”旗舰模型”和”小模型”两条成本曲线。计算时要统一币种,不要把美元和人民币混在一起算。
这三类因素对未来价格都有影响,但见效速度不同。企业应按自己的预算周期做判断,不宜假设某一天价格会突然大幅下降。
对多数企业来说,降本的主要方法是避免简单任务使用昂贵模型。常见的分层方式如下:
| 任务类型 | 推荐模型层级 | 成本策略 |
|---|---|---|
| 意图识别、分类、格式转换、信息抽取 | 小模型或上一代模型 | 主要降本区,单价可明显更低 |
| 摘要、改写、常规问答、RAG生成 | 中端通用模型 | 搭配缓存和上下文裁剪 |
| 复杂推理、代码生成、长文档分析 | 旗舰模型 | 只在必要时调用,并设置限流 |
| 高频固定任务 | 微调或蒸馏的小模型 | 前期投入,换取长期单位成本下降 |
常用的降本手段包括:
下面是一个路由示意代码,只用于说明思路。生产环境需要加入置信度判断、成本阈值、A/B测试和监控,不能直接照搬:
def route(prompt: str) -> str:"""示意用:按文本长度和关键词选择模型层级"""if len(prompt) < 200 and not any(k in prompt for k in ("推理", "证明", "架构设计")):return "light-model"if any(k in prompt for k in ("代码", "多步", "长文档")):return "flagship-model"return "standard-model"
“参数越大效果越好,所以永远选最大的”这种想法并不可靠。参数规模、任务复杂度、响应延迟和单次成本需要一起考虑。大模型在复杂推理上通常更有优势,但用它做简单分类,成本高,响应也慢。
选型时可以逐项检查:
开源与闭源的选择也要基于具体条件。有些”开源模型”只公开了权重,许可条款和可修改范围各不相同,并不等同于传统意义上的开源软件。是否私有化部署,主要取决于数据安全、合规要求和运维能力,而不只是单价比较。是否采用闭源商业模型,应以自己任务上的评测结果为准,而不是依据泛泛的印象。
价格和能力信息应同时参考官方价格页、模型文档和独立第三方评测。厂商发布的榜单分数,不一定反映你的业务场景。建议按以下步骤推进:
每条行动都应设定验收指标,例如路由命中率、缓存命中率、单请求成本下降幅度,并写明完成时限。
AI成本的变化是分层的。旧模型和小模型已处在很低的价格区间,中端模型持续下探,旗舰模型短期内仍然昂贵。与其等待整体降价,不如先做好选型。用任务分层、智能路由、缓存和上下文裁剪降低平均成本,同时在关键任务上保留调用最强模型的能力。用自己的真实数据算出成本曲线,比依赖任何单一的价格结论都更可靠。