小模型怎么选:选型、成本与路由降级

作者:搬砖的石头2026.11.17 03:25浏览量:0

简介:小模型选型常被忽略的三个问题:任务怎么分级、成本怎么算、出错怎么降级。本文给出三步选型法、按重试率测算月度成本的方法,以及带超时、异常分类和重试上限的多模型路由代码,帮你在准确率可接受的前提下压低账单。

小模型的价值在工程指标

小模型的价值不在”聪明”,而在三个工程指标。

成本可控。 按 Token 计费时,单次调用成本 = 输入 Token × 输入单价 + 输出 Token × 输出单价。同一任务换到更小的模型,单价通常明显下降。调用量大时,这个差距会被放大。

延迟更低。 分类、抽取、改写、工具调用对首字延迟敏感。小模型更容易满足交互式产品的响应要求。

部署灵活。 小模型体积小,既可以走云端 API,也可以部署在私有服务器上,适合数据不能出域的场景。

本文的选型方法不依赖某一款具体型号。mini、nano 指的是各服务商提供的同类小规模模型。上下文窗口、定价和可用区域请以各服务商官方文档为准。

小模型的主要对手,通常是”用旗舰模型硬扛简单任务”的做法。

三步选型法

第一步:划清任务边界。 单轮分类、字段抽取、格式转换、模板化改写,适合放到 nano 档。带工具调用、多轮上下文、需要简单推理的摘要与问答,适合放到 mini 档。多步规划、复杂代码生成和长文档推理,仍然交给旗舰档。

第二步:用真实样本建评测集。 50 到 100 条线上样本就够用。只看三个指标:任务准确率、输出格式合规率(JSON 解析失败率)、平均输出 Token 数。第三项最容易被忽略。输出啰嗦,账单会直接翻倍。

第三步:算总成本,而不是只看单价。 重试会增加实际消耗,要算进去:

  1. 单次有效成本 = (输入Token × 输入单价 + 输出Token × 输出单价) × (1 + 重试率)
  2. 月度成本 = 单次有效成本 × 日调用量 × 30

这里的重试率指”需要重新请求的调用次数 ÷ 总调用次数”,按请求计,不按 Token 计。

举个算例。假设输入单价为每百万 Token 1 元,输出单价为每百万 Token 4 元。这只是演示用的假设值,实际价格以官方为准。单次调用输入 2000 Token、输出 500 Token,重试率 5%,日调用量 10 万次:

  • 单次成本:2000 × 1/100 万 + 500 × 4/100 万 = 0.004 元
  • 有效成本:0.004 × 1.05 = 0.0042 元
  • 月度成本:0.0042 × 10 万 × 30 = 12600 元

把输出从 500 Token 压到 200 Token,月度成本降到约 8820 元。在输出较长的场景里,控制输出长度带来的收益可能比换模型更大。

多模型路由与降级

小模型上线后,最值得补的基础设施是按难度路由加失败降级。下面的代码以 OpenAI 兼容接口为例,密钥、地址和模型名都从环境变量读取。

  1. import os
  2. import time
  3. from openai import (
  4. OpenAI,
  5. APIConnectionError,
  6. APITimeoutError,
  7. InternalServerError,
  8. RateLimitError,
  9. )
  10. client = OpenAI(
  11. api_key=os.environ["LLM_API_KEY"],
  12. base_url=os.environ["LLM_BASE_URL"],
  13. timeout=20.0, # 单次请求超时(秒)
  14. max_retries=0, # 重试由下面的 chat() 统一控制
  15. )
  16. SMALL = {"model": os.environ["LLM_SMALL_MODEL"], "max_tokens": 512}
  17. FLAGSHIP = {"model": os.environ["LLM_FLAGSHIP_MODEL"], "max_tokens": 2048}
  18. # 只对这些临时性错误重试和降级
  19. RETRYABLE = (APITimeoutError, APIConnectionError, RateLimitError, InternalServerError)
  20. def chat(messages, hard=False, attempts_per_route=2):
  21. # hard=True 时旗舰优先,否则小模型优先;失败后切到另一条路由
  22. routes = [FLAGSHIP, SMALL] if hard else [SMALL, FLAGSHIP]
  23. last_err = None
  24. for route in routes:
  25. for attempt in range(attempts_per_route):
  26. try:
  27. resp = client.chat.completions.create(
  28. model=route["model"],
  29. messages=messages,
  30. max_tokens=route["max_tokens"],
  31. )
  32. return resp, route["model"]
  33. except RETRYABLE as e:
  34. last_err = e
  35. time.sleep(min(2 ** attempt, 4)) # 指数退避,上限 4 秒
  36. # 最多 2 条路由 × 2 次尝试,之后明确失败
  37. raise RuntimeError(f"所有模型路由均失败: {last_err}") from last_err

这段代码有几个设计点:

  • 鉴权失败、参数错误等不可恢复的异常不在 RETRYABLE 中,会直接抛出。如果把它们也降级,只会掩盖配置问题。
  • 每条路由最多尝试 2 次,总调用次数有上限,避免故障期间请求量被放大。
  • 返回值里带上实际使用的模型名,便于按模型统计成本与质量。

调用方可以在返回后记录 resp.usage 中的输入和输出 Token 数,并附上模型名标签,按模型和业务场景拆分账单。

工程配套的三件事

第一,结构化输出要加校验。用 JSON Schema 检查返回结果,校验失败时自动重试一次。这一步的成本远低于让错误数据进入下游系统。

第二,低置信度样本要回流。小模型输出不稳定的请求,记录下来形成难例集。下一轮换模型或调整 Prompt 时,用这批样本做回归测试。

第三,供应商切换只改配置。模型名和接口地址放在配置里,业务代码不感知具体厂商。换模型或设置主备时,改动范围很小。

本周可以立刻做的四件事

  1. 拿现有线上样本跑一遍 mini 档模型,记录准确率下降多少、成本降低多少,再决定是否分流。
  2. 把账单按”输入 Token、输出 Token、重试次数”拆开,找出真正烧钱的链路。
  3. 给关键链路加上多模型降级,避免单一供应商限流拖垮业务。
  4. 关注端侧小模型。车机、可穿戴设备和智能家居对低延迟与离线可用有硬性要求,小模型在这些场景中会越来越常见。