简介:本文面向需要接入大模型的企业与开发者,讲清按业务场景选型、用统一API接入多个模型、通过分层路由控制Token费用,并给出RAG与Agent落地检查清单。读完可以直接用于评估模型、搭建接入层和设定成本预算,减少上线前的试错。
企业接入大模型,难点已经从“能不能用”转向“怎样选、怎样接、怎样控费、怎样持续迭代”。本文按四个步骤讲清楚:按业务场景选型,用统一API接入多个模型,用分层路由控制Token成本,最后用检查清单确认RAG与Agent上线前的准备情况。本文仅讨论技术与成本问题,不构成投资建议。
榜单分数反映模型在公开测试集上的表现,但不能直接说明模型在自身业务中的效果。选型时可以从五个维度综合评估:
| 选型维度 | 关注重点 | 实践建议 |
|---|---|---|
| 模型能力 | 推理、长文本、多模态、工具调用 | 用真实业务样本做小规模评测 |
| 调用成本 | 输入输出Token单价、并发成本 | 建立Token预算与成本看板 |
| 工程接入 | API兼容性、SDK、限流、日志 | 优先选择统一接口或适配层 |
| 安全合规 | 数据隔离、权限控制、审计能力 | 对敏感数据设置访问策略 |
| 场景适配 | 客服、知识库、代码、营销等 | 按任务拆分模型路由策略 |
选型的顺序是先整理任务清单,再匹配模型。三类常见任务的侧重点不同。客服问答通常更看重响应速度和单次成本,轻量模型往往够用。长报告生成需要长上下文和较强的推理能力。代码辅助依赖工具调用和结构化输出的稳定性,输出格式出错会直接影响下游程序。
每类任务准备50到100条真实样本,记录结果后再确定路由规则。评测记录建议包含以下字段:任务类型、模型名称、准确率、P95耗时、输入Token、输出Token、单次费用、失败原因。
多个模型同时使用时,接口路径、鉴权方式和返回结构常常各不相同。每新增一个模型,业务代码就要重新适配一次。统一接入层把不同模型服务封装成一致的调用方式,业务系统只维护一套接口,切换模型时修改配置即可。
下面的示例使用OpenAI兼容的Chat Completions接口。运行前需要完成三件事:
pip install openai。LLM_BASE_URL、LLM_API_KEY,以及可选的LLM_MODEL。地址与模型名以所用平台文档为准。
import osfrom openai import OpenAIclient = OpenAI(base_url=os.environ["LLM_BASE_URL"],api_key=os.environ["LLM_API_KEY"],)# 检索系统返回的片段,此处为示例数据retrieved_chunks = ["第5条 付款方式:甲方应在收到发票后30日内通过银行转账支付合同款项。","第8条 违约责任:任何一方逾期履约,应按未履约金额每日0.05%支付违约金。",]context = "\n".join(f"[{i + 1}] {c}" for i, c in enumerate(retrieved_chunks))response = client.chat.completions.create(model=os.environ.get("LLM_MODEL", "your-model-name"),messages=[{"role": "system","content": "你是企业知识库助手。只能依据给定的检索片段回答,并在结论后标注片段编号。信息不足时,明确说明无法回答。",},{"role": "user","content": f"检索片段:\n{context}\n\n问题:请总结这份合同中的付款与违约条款。",},],temperature=0.2,stream=False,)# choices 是列表,需要取第一个元素print(response.choices[0].message.content)
示例中的片段由检索系统提供,模型只能依据这些片段作答。提示词要求模型标注片段编号,并在信息不足时说明无法回答,这样回答可以被核对。
接入层还应具备以下能力:
下面是退避重试的最小示例。
import timefrom openai import APIStatusError, APITimeoutErrordef call_with_retry(fn, max_retries=3):for attempt in range(max_retries + 1):try:return fn()except APITimeoutError:passexcept APIStatusError as e:# 只对429和5xx重试,其他错误直接抛出if e.status_code != 429 and e.status_code < 500:raiseif attempt == max_retries:raisetime.sleep(min(2 ** attempt, 8))
重试会增加费用。写操作类的工具调用在重试前要确认幂等,避免重复扣费或重复执行同一动作。
大模型费用与Token消耗直接相关,计算公式如下:
总费用 = 输入Token数 × 输入单价 + 输出Token数 × 输出单价
多数平台按千Token计价,公式可写为:
总费用 =(输入Token数 / 1000)× 输入千Token价格 + (输出Token数 / 1000)× 输出千Token价格
举例说明。某次调用输入2000个Token,输出500个Token,输入千Token价格为0.002元,输出千Token价格为0.008元,则单次费用为:2 × 0.002 + 0.5 × 0.008 = 0.008元。若日均调用10万次,日费用约为800元。这一计算仅为示意,实际价格请以平台账单为准。
常见的优化策略有三类。
分层路由通常分三层判定。
第一层按任务类型直接路由。分类、信息抽取、常见问题解答等固定任务,默认交给轻量模型。
第二层按复杂度判定。输入超过约8000个Token,或需要多步推理、跨文档比对时,直接进入高能力模型。
第三层按输出质量升级。轻量模型的输出如果未通过校验,例如JSON解析失败、缺少引用编号,就升级到高能力模型重试一次。升级次数设上限,避免反复调用。
降级阈值也要提前设定。高能力模型的错误率连续5分钟超过5%,或P95耗时超过业务容忍值,就切换到备用模型并发出告警。上面列出的8000个Token和5%等数字只是起点,需要用评测集校准。
成本看板建议记录以下字段:业务线、应用、用户、模型、请求量、输入Token、输出Token、缓存命中率、升级次数和费用。有了这些字段,才能判断成本异常来自哪个环节。
上线前逐项确认下面两组检查项。
RAG检查项:
Agent检查项: