简介:很多人把 Token 账单当成不可控的"水电费",其实其中相当一部分是可治理的浪费。本文对比两种典型调用模式——方案A"粗放行式调用"(全量上下文直传、单一模型通吃、不做缓存与归因)与方案B"精细化治理式调用"(分层模型路由、上下文预算管控、语义缓存与成本核算),从架构、接入改造、性能、成本结构、可观测性、使用边界等维度展开,并给出可量化的自检清单、场景化选型判断与迁移注意事项,帮助读者判断自己的 Token 支出中哪部分属于必要成本、哪部分属于结构性浪费。
要谈”冤枉钱”,前提是先把钱花在什么上面说清楚。大模型应用的 Token 消耗,本质上是三类资源的计费:输入侧(提示词 + 系统指令 + 历史对话 + 检索片段 + 工具返回结果)、输出侧(模型生成内容)、以及重试与失败请求带来的隐性损耗。所谓”浪费”,指的是这些 Token 并未换取对应的业务价值。
本文对比的两类工程实践如下:
需要说明的是,”至少 20%”这类比例在不同业务形态下差异极大,不应被当作可依赖的行业常量。真正有价值的做法是建立自己的测量口径(见第九节),而不是接受一个外部数字。
两种方案并非”好方案”与”坏方案”的对立,它们共享以下前提:
方案A的成本随上下文长度线性甚至更快地增长。常见失控点集中在四处:
方案B则在生成路径上做了分流:多轮历史用滑动窗口加滚动摘要维护,检索片段按相关性截断并去重,输出长度按业务字段约束,失败重试区分可重试与不可重试错误。差异的本质不是”提示词写得好不好”,而是是否把 token 当作需要显式预算和核算的资源来管理。
方案A通常”一个模型打天下”。分类、抽取、格式化改写这类确定性强的任务,也被路由到大参数模型,成本与实际收益严重不匹配。
方案B引入分层路由:简单任务交给小参数模型或规则引擎,中等复杂度交给中等规模模型,只有长链推理、复杂代码、多约束写作才调用大参数模型。示意性伪代码:
def route_and_call(task, context):tier = classify(task) # simple / medium / complexif tier == "simple" and regex_or_rule_can_solve(task):return rule_engine(task) # 0 token 消耗model = small_model if tier == "simple" else (mid_model if tier == "medium" else large_model)if (hit := cache_lookup(cache_key(task, context))):return hitresp = call_model(model, build_context(context, budget=BUDGET[tier]),max_output=OUT_LIMIT[tier])cache_store(cache_key(task, context), resp, ttl=TTL[tier])return resp
路由本身也有成本:一次分类调用可能抵消一部分节省,因此高 QPS 场景更适合用词法规则、任务类型标签等零 token 方式预判,而不是再调一次模型。
这是两者差距最大的一环。方案A中,重复请求(如相同 FAQ、相同商品参数、相同代码片段的相似提问)每次都全价支付。方案B通过两类复用降低成本:
同时方案B对提示词做结构分层:稳定不变的指令段放在前部(部分模型服务对相同前缀有隐式缓存机制,可进一步降本),可变数据放后部,减少前缀漂移导致的复用失效。
方案A的典型症状是”账单涨了但不知道是谁涨的”。方案B在调用链上补齐三项能力:一是每次调用记录输入 token、输出 token、模型档位、业务标签、耗时与重试次数;二是通过监控告警服务对单位请求成本、缓存命中率、路由分布设置阈值告警;三是把原始请求与响应按需归档到对象存储,用于事后抽样复核。
没有这一层,”20% 浪费”永远只是猜测;有了这一层,优化就变成有反馈闭环的工程问题。
方案A接入成本极低,一个 HTTP 调用即可完成,适合原型验证。方案B需要额外开发与运维:治理层服务、缓存存储、评测流水线、成本核算看板。这些投入是真实成本,必须与预期节省额放在同一张表上比较。
对于月调用量很小、请求重复度低、任务类型单一的业务,方案B的治理层投入很可能高于其节省额,此时保持方案A是理性选择。这是本文最重要的一条边界条件。
| 维度 | 方案A:粗放行式调用 | 方案B:精细化治理式调用 |
|---|---|---|
| 成本增长曲线 | 随上下文长度近似二次增长 | 随有效业务请求数近似线性增长 |
| 模型选择 | 单模型覆盖全任务 | 按难度分层路由 |
| 历史管理 | 全量回传 | 滑动窗口 + 滚动摘要 + 预算截断 |
| 检索片段 | 数量与长度不设限 | 相关性截断 + 去重 + token 配额 |
| 输出控制 | 缺少显式长度约束 | 按字段/场景设定输出上限 |
| 结果复用 | 基本无缓存 | 精确缓存 + 受控语义缓存 |
| 重试策略 | 整链重试 | 按错误类型区分可重试性 |
| 成本归因 | 仅有总量账单 | 按业务标签可下钻 |
| 接入改造量 | 极小 | 中等,需新增治理组件 |
| 运维负担 | 低 | 中高,涉及缓存一致性与评测回归 |
| 质量风险 | 低(少加工) | 存在压缩与路由引入的语义损失 |
| 适用阶段 | 原型、低流量、低重复度 | 生产、高流量、高重复度、多任务混合 |
与其相信一个外部比例,不如做一次为期一周的自检,逐项统计:
方案A与方案B的差别,不在于是否”用云、用模型”,而在于是否把 Token 当作可预算、可归因、可复用的资源来经营。方案A的浪费来自结构性因素——历史全量回传、检索无节制、单模型通吃、无缓存、无归因,这些浪费不会随着降价而消失;方案B通过预算管控、分层路由与结果复用压缩无效消耗,但代价是引入治理层复杂度、缓存一致性风险与评测负担。
因此决策思路是条件化的:请求量小、任务单一、重复度低的业务,保持轻量直调更经济;生产级、高流量、混合任务的系统,值得优先落地输出约束、重试治理与成本归因这三项低风险改造,再依据实测收益决定是否引入语义缓存与分层路由。先建立测量口径,再决定优化投入——这是避免”为省钱而多花钱”的唯一可靠路径。