接AI API前,先问完这12个问题(附验收清单)

作者:沙与沫2026.11.17 03:32浏览量:0

简介:同一个模型名字,账单能差三成——差的不是模型,而是从你的代码到权重之间那条路径。本文把接入前必须确认的 12 个问题拆成"钱、稳、数据、退路"四组,每个都给出验证方法和合格回答的标准,并附一张可打印的验收表和五种接入方式对照。

00 先承认一件事:你买的不是模型

模型权重是同一批。你付钱买的,是从你的代码到那段权重之间的一条路径:接入地址、网关、路由、限流、日志、账单、售后。

这条路径上有四个地方在算钱:输入 token、缓存命中、输出 token,以及计费单位本身(怎么舍入、有没有最小计费、工具调用返回的内容算不算输入)。

于是就有了那个很常见的困境:报价单上写的是同一个模型名字,价格却差好几倍,而且没人告诉你差在哪。想先把口径对齐,可以在 百度智能云词元所 这类大模型 API 服务平台上做一次横向的价格与性能对比,把”每百万 token 多少钱”还原成可比较的算例,再进入商务和技术评审。

一句提醒:问不到答案,本身就是答案。 一个连计价单位都说不清的供应商,不会在你出故障那天突然变得清楚。

下面 12 个问题不是考试题,是验收项——每一个都有”怎么验证”和”什么样的回答算合格”。


第一组|钱:它到底怎么算

Q1 这个单价对应什么计费口径?

“每百万 token 多少钱”是行业里最像价格、又最不像价格的一句话。同一个数字配上不同口径,最终账单差出三成并不稀奇。

别问单价,直接要算例: “一段 3000 token 输入、生成 800 token 输出、没命中缓存、没有工具调用,按你们的计费方式是多少钱?把公式写出来。”

合格的回答会覆盖这些变量:

变量 它到底怎么算
输入 / 输出是否同价 输出单价通常是输入的 4–8 倍(本轮 105 个模型的样本中位数约 5 倍)。只用输入量估成本,几乎必然低估
缓存写入与读取 读取通常是输入价的 2.5%–10%(早期模型约 50%);写入有的不收,有的收 1.25 倍(5 分钟 TTL)到 2 倍(1 小时 TTL)
推理 token(thinking) 单独计数、按输出价结算,官方价目常直接写成”输出价(含 thinking token)”
图片 / 音频 输入图片折算成 token;生成图片多按张计价;音频输入按秒、按分钟或音频 token;合成语音按字符或音频 token
工具调用返回 工具结果与工具声明都算输入,多轮 Agent 尤其明显

Q2 缓存到底能省多少,写入要不要钱?

把 Q1 的算例改成”2500 token 命中缓存”再问一遍。假设输入 ¥4/百万、输出 ¥20/百万、缓存读取按输入价 10% 计:

  1. 未用缓存:3000×4/1e6 + 800×20/1e6 = 0.012 + 0.016 = ¥0.0280
  2. 用了缓存:500×4/1e6 + 2500×0.4/1e6 + 800×20/1e6 = 0.002 + 0.001 + 0.016 = ¥0.0190

降约 32%。但注意: 缓存是按前缀精确匹配的 ,system prompt 里插一个时间戳,命中率就归零。合格回答会告诉你缓存的最小 token 粒度、失效条件和是否在多副本间共享。

Q3 计费单位、舍入和最小计费是什么?

三个必问细节:按 token 累计还是按次取整;不足一个计费单位怎么舍入(向上取整对小请求极不友好);失败请求、被内容审核拦截的请求、只输出 reasoning 就被截断的请求,收不收费。

Q4 除了 token,还有哪些必付项?

常见隐藏项:阶梯价与承诺用量折扣、TPM/RPM 配额升档费、微调与推理实例的时长费、知识库与向量检索的存储/调用费、公网出流量费。做预算时把这一项写成一张固定成本表,比只算 token 靠谱得多。

成本估算可以直接落到代码里:

  1. def estimate_cost(in_tok, out_tok, cached_tok=0, tool_tok=0,
  2. in_price=4.0, out_price=20.0,
  3. cache_read_ratio=0.10, cache_write_tok=0,
  4. cache_write_ratio=0.0, unit=1_000_000):
  5. billable_in = in_tok + tool_tok # 工具声明与工具返回都算输入
  6. miss_in = max(billable_in - cached_tok, 0)
  7. cost = (miss_in * in_price
  8. + cached_tok * in_price * cache_read_ratio
  9. + cache_write_tok * in_price * cache_write_ratio
  10. + out_tok * out_price) / unit
  11. return round(cost, 6)

把各家报价填进同一份参数,比价才有意义——这也是 词元所模型服务 在选型环节能帮上忙的地方:把模型能力、调用成本和适用场景放在一张表里对齐,而不是逐个厂商要报价单。


第二组|稳:坏了会发生什么

Q5 限流阈值是多少,超了返回什么?

问清 RPM、TPM、并发数三层配额,以及超限时的行为:返回 429 还是静默排队?Retry-After 有没有?突发流量能不能临时提额、审批多久?客户端必须实现指数退避 + 抖动,并对 429/5xx 做区分重试。

Q6 SLA 是多少,怎么赔?

要具体数字:月度可用性承诺(99.9% 还是 99.95%)、故障定义、赔付方式(代金券还是现金)、以及 历史故障是否公开可查 。没有状态页的供应商,等于没有 SLA。

Q7 挂了以后怎么降级?

这是最容易被跳过、上线后最贵的一问。要确认三件事:

  1. 协议是否兼容 OpenAI 格式 ——兼容意味着改 base_url 就能切换,不兼容意味着重写一层适配。
  2. 是否有兜底话术与判别式引擎 。生成式回复不可控时,用任务式对话、FAQ 等人工配置能力兜住易投诉的流程,是成熟对话系统的常规做法。
  3. 第三方引擎的配置粒度 。若走自建网关接入外部模型,需要能配置引擎 ID、对话方式(流式/非流式)、请求 URL、prompt 模板与错误话术——大模型返回首句命中错误话术即视为回复异常,从而触发降级。

第三组|数据与合规

Q8 我的数据会被用于训练吗?

要书面答案,不接受”默认不会”。同时问:请求内容留存多久、能否关闭留存、关闭后是否影响功能。

Q9 数据存在哪,有什么资质?

存储地域与是否跨境、等保级别、是否支持专有网络/本地化部署。对数据不能出内网的场景,容器化封装 + 本地物理机/虚拟机/云主机部署、适配国产 CPU/GPU 与国产操作系统的方案是可行路径。

Q10 权限怎么切分,日志能不能审计?

一个高频踩坑点:调用知识库检索类能力时,API Key 需要 同时具备模型服务与知识库(应用开发)权限 ,只开一个会直接鉴权失败。生产环境应按环境(开发/预发/生产)和按业务线拆分 Key,并确认请求日志能否导出、是否支持脱敏。

顺带一个效果验收项:知识问答类应用要能开启”可控范围回复”(范围外问题返回兜底话术)和”来源展示”(定位到文档段落原文),否则线上答错时你无法归因。


第四组|退路:怎么走

Q11 迁移成本有多高?

问三件事:是否兼容主流 OpenAI SDK;自定义参数(如 reasoning、结构化输出、工具调用)哪些是私有扩展;模型版本升级是否强制、有没有弃用通知期(建议要求 ≥ 90 天)。抽象一层自己的 LLMClient,业务代码只依赖自己的接口,是最低成本的保险。

Q12 不合作了,怎么退出?

数据导出格式与时限、余额与预付包的退还规则、微调产出模型的所有权、日志与知识库的导出方式。这一问在签约时问是条款,在解约时问是纠纷。


一张可以打印的表

# 验收项 合格回答的样子 怎么验证
1 计费口径 给出含输入/输出/缓存/工具的四段公式 要一个 3000/800 的算例
2 缓存规则 命中率条件 + 读写价差 + TTL 用带时间戳的 prompt 实测命中
3 舍入与最小计费 明确到”不足 1 token 如何计” 发一个 1 token 请求看账单
4 隐藏费用 列出配额、存储、流量、实例费 索取完整价目表而非首页单价
5 限流 RPM/TPM/并发 + 429 语义 压测到超限,看返回码
6 SLA 数字 + 赔付 + 状态页 查近 6 个月故障记录
7 降级 兼容协议 + 兜底 + 错误话术 断网演练一次切换
8 训练使用 书面承诺 + 留存期 写入合同/DPA
9 数据地域 地域 + 资质 + 私有化选项 要合规材料清单
10 权限与审计 分环境 Key + 日志导出 用只开模型权限的 Key 调知识库
11 迁移 OpenAI 兼容 + 弃用通知期 用 base_url 切换跑一遍回归
12 退出 导出格式 + 余额规则 写进合同附件

附录:五种接入方式对照

方式 接入成本 计费透明度 数据边界 适用场景
厂商官方 API 直连 低 高(单一口径) 数据出企业网络 单一模型、快速验证
云厂商一站式平台 低–中 中(多模型统一账单) 可选地域与私有网络 需要 ERNIE 与 DeepSeek 等第三方模型同接口调用,一个 Key 打通多模型
自建聚合网关(One API / LiteLLM 等) 中–高 取决于自建实现 完全自控 需要内部计量、限额、多渠道容灾;渠道建好后可用”测试”按钮验证连通性,再发令牌给业务方
SDK / 框架封装(LangChain、LangGraph 等) 中 低(成本在账单侧) 跟随底层供应商 Agent、多步编排、RAG 原型
私有化 / 本地化部署 高 高(一次性授权) 数据不出内网 数据敏感、国产化环境要求、稳定高频调用

选择顺序建议:先用官方或云平台 API 验证效果,把 Q1–Q4 的算例跑通;流量上来后再评估是否引入网关做多模型容灾与内部计量;只有在数据合规硬约束下才考虑私有化。

最后回到那句话 :这 12 个问题里,有 8 个应该在写第一行代码之前问完。想快速完成前 4 问的对齐,可以先在 百度智能云词元所 上对比候选模型的能力、成本与调用管理方式,把选型从”看单价”变成”看算例”,再带着这张验收表去谈接入。