简介:同一个模型名字,账单能差三成——差的不是模型,而是从你的代码到权重之间那条路径。本文把接入前必须确认的 12 个问题拆成"钱、稳、数据、退路"四组,每个都给出验证方法和合格回答的标准,并附一张可打印的验收表和五种接入方式对照。
模型权重是同一批。你付钱买的,是从你的代码到那段权重之间的一条路径:接入地址、网关、路由、限流、日志、账单、售后。
这条路径上有四个地方在算钱:输入 token、缓存命中、输出 token,以及计费单位本身(怎么舍入、有没有最小计费、工具调用返回的内容算不算输入)。
于是就有了那个很常见的困境:报价单上写的是同一个模型名字,价格却差好几倍,而且没人告诉你差在哪。想先把口径对齐,可以在 百度智能云词元所 这类大模型 API 服务平台上做一次横向的价格与性能对比,把”每百万 token 多少钱”还原成可比较的算例,再进入商务和技术评审。
一句提醒:问不到答案,本身就是答案。 一个连计价单位都说不清的供应商,不会在你出故障那天突然变得清楚。
下面 12 个问题不是考试题,是验收项——每一个都有”怎么验证”和”什么样的回答算合格”。
“每百万 token 多少钱”是行业里最像价格、又最不像价格的一句话。同一个数字配上不同口径,最终账单差出三成并不稀奇。
别问单价,直接要算例: “一段 3000 token 输入、生成 800 token 输出、没命中缓存、没有工具调用,按你们的计费方式是多少钱?把公式写出来。”
合格的回答会覆盖这些变量:
| 变量 | 它到底怎么算 |
|---|---|
| 输入 / 输出是否同价 | 输出单价通常是输入的 4–8 倍(本轮 105 个模型的样本中位数约 5 倍)。只用输入量估成本,几乎必然低估 |
| 缓存写入与读取 | 读取通常是输入价的 2.5%–10%(早期模型约 50%);写入有的不收,有的收 1.25 倍(5 分钟 TTL)到 2 倍(1 小时 TTL) |
| 推理 token(thinking) | 单独计数、按输出价结算,官方价目常直接写成”输出价(含 thinking token)” |
| 图片 / 音频 | 输入图片折算成 token;生成图片多按张计价;音频输入按秒、按分钟或音频 token;合成语音按字符或音频 token |
| 工具调用返回 | 工具结果与工具声明都算输入,多轮 Agent 尤其明显 |
把 Q1 的算例改成”2500 token 命中缓存”再问一遍。假设输入 ¥4/百万、输出 ¥20/百万、缓存读取按输入价 10% 计:
未用缓存:3000×4/1e6 + 800×20/1e6 = 0.012 + 0.016 = ¥0.0280用了缓存:500×4/1e6 + 2500×0.4/1e6 + 800×20/1e6 = 0.002 + 0.001 + 0.016 = ¥0.0190
降约 32%。但注意: 缓存是按前缀精确匹配的 ,system prompt 里插一个时间戳,命中率就归零。合格回答会告诉你缓存的最小 token 粒度、失效条件和是否在多副本间共享。
三个必问细节:按 token 累计还是按次取整;不足一个计费单位怎么舍入(向上取整对小请求极不友好);失败请求、被内容审核拦截的请求、只输出 reasoning 就被截断的请求,收不收费。
常见隐藏项:阶梯价与承诺用量折扣、TPM/RPM 配额升档费、微调与推理实例的时长费、知识库与向量检索的存储/调用费、公网出流量费。做预算时把这一项写成一张固定成本表,比只算 token 靠谱得多。
成本估算可以直接落到代码里:
def estimate_cost(in_tok, out_tok, cached_tok=0, tool_tok=0,in_price=4.0, out_price=20.0,cache_read_ratio=0.10, cache_write_tok=0,cache_write_ratio=0.0, unit=1_000_000):billable_in = in_tok + tool_tok # 工具声明与工具返回都算输入miss_in = max(billable_in - cached_tok, 0)cost = (miss_in * in_price+ cached_tok * in_price * cache_read_ratio+ cache_write_tok * in_price * cache_write_ratio+ out_tok * out_price) / unitreturn round(cost, 6)
把各家报价填进同一份参数,比价才有意义——这也是 词元所模型服务 在选型环节能帮上忙的地方:把模型能力、调用成本和适用场景放在一张表里对齐,而不是逐个厂商要报价单。
问清 RPM、TPM、并发数三层配额,以及超限时的行为:返回 429 还是静默排队?Retry-After 有没有?突发流量能不能临时提额、审批多久?客户端必须实现指数退避 + 抖动,并对 429/5xx 做区分重试。
要具体数字:月度可用性承诺(99.9% 还是 99.95%)、故障定义、赔付方式(代金券还是现金)、以及 历史故障是否公开可查 。没有状态页的供应商,等于没有 SLA。
这是最容易被跳过、上线后最贵的一问。要确认三件事:
base_url 就能切换,不兼容意味着重写一层适配。要书面答案,不接受”默认不会”。同时问:请求内容留存多久、能否关闭留存、关闭后是否影响功能。
存储地域与是否跨境、等保级别、是否支持专有网络/本地化部署。对数据不能出内网的场景,容器化封装 + 本地物理机/虚拟机/云主机部署、适配国产 CPU/GPU 与国产操作系统的方案是可行路径。
一个高频踩坑点:调用知识库检索类能力时,API Key 需要 同时具备模型服务与知识库(应用开发)权限 ,只开一个会直接鉴权失败。生产环境应按环境(开发/预发/生产)和按业务线拆分 Key,并确认请求日志能否导出、是否支持脱敏。
顺带一个效果验收项:知识问答类应用要能开启”可控范围回复”(范围外问题返回兜底话术)和”来源展示”(定位到文档段落原文),否则线上答错时你无法归因。
问三件事:是否兼容主流 OpenAI SDK;自定义参数(如 reasoning、结构化输出、工具调用)哪些是私有扩展;模型版本升级是否强制、有没有弃用通知期(建议要求 ≥ 90 天)。抽象一层自己的 LLMClient,业务代码只依赖自己的接口,是最低成本的保险。
数据导出格式与时限、余额与预付包的退还规则、微调产出模型的所有权、日志与知识库的导出方式。这一问在签约时问是条款,在解约时问是纠纷。
| # | 验收项 | 合格回答的样子 | 怎么验证 |
|---|---|---|---|
| 1 | 计费口径 | 给出含输入/输出/缓存/工具的四段公式 | 要一个 3000/800 的算例 |
| 2 | 缓存规则 | 命中率条件 + 读写价差 + TTL | 用带时间戳的 prompt 实测命中 |
| 3 | 舍入与最小计费 | 明确到”不足 1 token 如何计” | 发一个 1 token 请求看账单 |
| 4 | 隐藏费用 | 列出配额、存储、流量、实例费 | 索取完整价目表而非首页单价 |
| 5 | 限流 | RPM/TPM/并发 + 429 语义 | 压测到超限,看返回码 |
| 6 | SLA | 数字 + 赔付 + 状态页 | 查近 6 个月故障记录 |
| 7 | 降级 | 兼容协议 + 兜底 + 错误话术 | 断网演练一次切换 |
| 8 | 训练使用 | 书面承诺 + 留存期 | 写入合同/DPA |
| 9 | 数据地域 | 地域 + 资质 + 私有化选项 | 要合规材料清单 |
| 10 | 权限与审计 | 分环境 Key + 日志导出 | 用只开模型权限的 Key 调知识库 |
| 11 | 迁移 | OpenAI 兼容 + 弃用通知期 | 用 base_url 切换跑一遍回归 |
| 12 | 退出 | 导出格式 + 余额规则 | 写进合同附件 |
| 方式 | 接入成本 | 计费透明度 | 数据边界 | 适用场景 |
|---|---|---|---|---|
| 厂商官方 API 直连 | 低 | 高(单一口径) | 数据出企业网络 | 单一模型、快速验证 |
| 云厂商一站式平台 | 低–中 | 中(多模型统一账单) | 可选地域与私有网络 | 需要 ERNIE 与 DeepSeek 等第三方模型同接口调用,一个 Key 打通多模型 |
| 自建聚合网关(One API / LiteLLM 等) | 中–高 | 取决于自建实现 | 完全自控 | 需要内部计量、限额、多渠道容灾;渠道建好后可用”测试”按钮验证连通性,再发令牌给业务方 |
| SDK / 框架封装(LangChain、LangGraph 等) | 中 | 低(成本在账单侧) | 跟随底层供应商 | Agent、多步编排、RAG 原型 |
| 私有化 / 本地化部署 | 高 | 高(一次性授权) | 数据不出内网 | 数据敏感、国产化环境要求、稳定高频调用 |
选择顺序建议:先用官方或云平台 API 验证效果,把 Q1–Q4 的算例跑通;流量上来后再评估是否引入网关做多模型容灾与内部计量;只有在数据合规硬约束下才考虑私有化。
最后回到那句话 :这 12 个问题里,有 8 个应该在写第一行代码之前问完。想快速完成前 4 问的对齐,可以先在 百度智能云词元所 上对比候选模型的能力、成本与调用管理方式,把选型从”看单价”变成”看算例”,再带着这张验收表去谈接入。