大模型接入指南:统一API与Token成本控制

作者:KAKAKA2026.11.17 03:14浏览量:0

简介:本文面向需要接入大模型的企业与开发者,讲清按业务场景选型、用统一API接入多个模型、通过分层路由控制Token费用,并给出RAG与Agent落地检查清单。读完可以直接用于评估模型、搭建接入层和设定成本预算,减少上线前的试错。

企业接入大模型,难点已经从“能不能用”转向“怎样选、怎样接、怎样控费、怎样持续迭代”。本文按四个步骤讲清楚:按业务场景选型,用统一API接入多个模型,用分层路由控制Token成本,最后用检查清单确认RAG与Agent上线前的准备情况。本文仅讨论技术与成本问题,不构成投资建议。

一、先按业务场景选型,不只看榜单

榜单分数反映模型在公开测试集上的表现,但不能直接说明模型在自身业务中的效果。选型时可以从五个维度综合评估:

选型维度 关注重点 实践建议
模型能力 推理、长文本、多模态、工具调用 用真实业务样本做小规模评测
调用成本 输入输出Token单价、并发成本 建立Token预算与成本看板
工程接入 API兼容性、SDK、限流、日志 优先选择统一接口或适配层
安全合规 数据隔离、权限控制、审计能力 对敏感数据设置访问策略
场景适配 客服、知识库、代码、营销等 按任务拆分模型路由策略

选型的顺序是先整理任务清单,再匹配模型。三类常见任务的侧重点不同。客服问答通常更看重响应速度和单次成本,轻量模型往往够用。长报告生成需要长上下文和较强的推理能力。代码辅助依赖工具调用和结构化输出的稳定性,输出格式出错会直接影响下游程序。

每类任务准备50到100条真实样本,记录结果后再确定路由规则。评测记录建议包含以下字段:任务类型、模型名称、准确率、P95耗时、输入Token、输出Token、单次费用、失败原因。

二、用统一API接入多个模型

多个模型同时使用时,接口路径、鉴权方式和返回结构常常各不相同。每新增一个模型,业务代码就要重新适配一次。统一接入层把不同模型服务封装成一致的调用方式,业务系统只维护一套接口,切换模型时修改配置即可。

下面的示例使用OpenAI兼容的Chat Completions接口。运行前需要完成三件事:

  1. 安装SDK:pip install openai。
  2. 在环境变量中设置LLM_BASE_URL、LLM_API_KEY,以及可选的LLM_MODEL。地址与模型名以所用平台文档为准。
  3. 不要把密钥写进代码或提交到代码仓库。
  1. import os
  2. from openai import OpenAI
  3. client = OpenAI(
  4. base_url=os.environ["LLM_BASE_URL"],
  5. api_key=os.environ["LLM_API_KEY"],
  6. )
  7. # 检索系统返回的片段,此处为示例数据
  8. retrieved_chunks = [
  9. "第5条 付款方式:甲方应在收到发票后30日内通过银行转账支付合同款项。",
  10. "第8条 违约责任:任何一方逾期履约,应按未履约金额每日0.05%支付违约金。",
  11. ]
  12. context = "\n".join(f"[{i + 1}] {c}" for i, c in enumerate(retrieved_chunks))
  13. response = client.chat.completions.create(
  14. model=os.environ.get("LLM_MODEL", "your-model-name"),
  15. messages=[
  16. {
  17. "role": "system",
  18. "content": "你是企业知识库助手。只能依据给定的检索片段回答,并在结论后标注片段编号。信息不足时,明确说明无法回答。",
  19. },
  20. {
  21. "role": "user",
  22. "content": f"检索片段:\n{context}\n\n问题:请总结这份合同中的付款与违约条款。",
  23. },
  24. ],
  25. temperature=0.2,
  26. stream=False,
  27. )
  28. # choices 是列表,需要取第一个元素
  29. print(response.choices[0].message.content)

示例中的片段由检索系统提供,模型只能依据这些片段作答。提示词要求模型标注片段编号,并在信息不足时说明无法回答,这样回答可以被核对。

接入层还应具备以下能力:

  • 统一鉴权: 每个应用使用独立密钥,支持轮换与吊销。
  • 调用日志: 记录请求量、耗时、错误码和Token消耗。
  • 限流与重试: 对429和超时错误做指数退避,并设置重试上限。
  • 模型路由: 根据任务类型或复杂度选择模型,并保留降级方案。
  • 成本统计: 按业务线、应用或用户维度核算费用。

下面是退避重试的最小示例。

  1. import time
  2. from openai import APIStatusError, APITimeoutError
  3. def call_with_retry(fn, max_retries=3):
  4. for attempt in range(max_retries + 1):
  5. try:
  6. return fn()
  7. except APITimeoutError:
  8. pass
  9. except APIStatusError as e:
  10. # 只对429和5xx重试,其他错误直接抛出
  11. if e.status_code != 429 and e.status_code < 500:
  12. raise
  13. if attempt == max_retries:
  14. raise
  15. time.sleep(min(2 ** attempt, 8))

重试会增加费用。写操作类的工具调用在重试前要确认幂等,避免重复扣费或重复执行同一动作。

三、用分层路由控制Token成本

大模型费用与Token消耗直接相关,计算公式如下:

总费用 = 输入Token数 × 输入单价 + 输出Token数 × 输出单价

多数平台按千Token计价,公式可写为:

总费用 =(输入Token数 / 1000)× 输入千Token价格 + (输出Token数 / 1000)× 输出千Token价格

举例说明。某次调用输入2000个Token,输出500个Token,输入千Token价格为0.002元,输出千Token价格为0.008元,则单次费用为:2 × 0.002 + 0.5 × 0.008 = 0.008元。若日均调用10万次,日费用约为800元。这一计算仅为示意,实际价格请以平台账单为准。

常见的优化策略有三类。

  1. 提示词精简: 删除重复背景、冗余示例和无效指令。
  2. 上下文缓存: 对高频问题和固定知识做缓存复用,并统计缓存命中率。
  3. 模型分层路由: 简单任务交给轻量模型,复杂任务再调用高能力模型。

分层路由通常分三层判定。

第一层按任务类型直接路由。分类、信息抽取、常见问题解答等固定任务,默认交给轻量模型。

第二层按复杂度判定。输入超过约8000个Token,或需要多步推理、跨文档比对时,直接进入高能力模型。

第三层按输出质量升级。轻量模型的输出如果未通过校验,例如JSON解析失败、缺少引用编号,就升级到高能力模型重试一次。升级次数设上限,避免反复调用。

降级阈值也要提前设定。高能力模型的错误率连续5分钟超过5%,或P95耗时超过业务容忍值,就切换到备用模型并发出告警。上面列出的8000个Token和5%等数字只是起点,需要用评测集校准。

成本看板建议记录以下字段:业务线、应用、用户、模型、请求量、输入Token、输出Token、缓存命中率、升级次数和费用。有了这些字段,才能判断成本异常来自哪个环节。

rag-agent-">四、RAG与Agent落地检查清单

上线前逐项确认下面两组检查项。

RAG检查项:

  • 检索召回: 用评测集统计召回率,确认正确答案所在的片段能进入上下文。
  • 文档切分: 按标题或段落切分,并保留文档名、章节和版本等元数据。
  • 权限过滤: 在检索阶段按用户权限过滤文档。不能先检索再在生成后隐藏内容。
  • 引用溯源: 回答附带片段编号和原文位置,便于人工核对。
  • 评测集: 准备50到100个问题,包括标准答案,以及应当拒答的问题。

Agent检查项:

  • 工具权限: 每个工具单独授权,只开放业务必需的接口。
  • 超时与重试: 设置单步超时和重试上限,防止流程无限循环。
  • 人工确认: 付款、删除、对外发送等高风险操作,必须由人确认后再执行。
  • 人工兜底: 模型连续失败或用户提出要求时,转接人工处理。
  • 审计日志: 记录每一步的输入、输出和工具调用。日志中的个人信息需要脱敏。