简介:小模型在成本、延迟和部署上有明显优势,但选型不能只看参数和榜单。本文给出一套可落地的方法:建立真实评测集,定义量化指标,测算调用成本,并通过灰度发布与自动回退控制风险。文中同时说明选型时的安全合规要点。
小模型正在成为企业AI应用的常见选项。与追求综合能力最强的大模型相比,小模型的优势在于单次调用便宜、响应快、部署灵活。近期市场上对OpenAI新发布的GPT-5.4 mini与nano讨论较多,但具体能力、价格和上线范围应以官方文档为准,本文不对其性能作确定性判断。读者可以把这篇文章当作一套通用选型方法,它适用于任何一款小模型。
过去团队选模型时,常见做法是直接挑选参数最多、综合评分最高的模型。这种做法在原型阶段没有问题,但进入真实业务后,成本和延迟会迅速放大。很多任务只需要”足够好、足够快、足够便宜”的结果。
小模型主要有四方面价值。
第一,成本更可控。大模型API通常按Token计费,输入和输出分别计价。批量摘要、标签分类、工单归类这类高频任务,如果每天要调用几十万次,单价差异会直接体现在月账单上。
第二,延迟更低。轻量模型一般更容易做到较低的首Token延迟,适合实时对话、语音交互和智能硬件等场景。用户对等待时间很敏感,首字出现得快,体验通常更好。
第三,部署更灵活。小模型对算力要求较低,更容易放在端侧设备、边缘服务器或私有化环境中运行。涉及用户隐私或网络不稳定的业务,这一点尤其重要。
第四,便于组合使用。常见做法是用小模型处理大多数简单请求,遇到复杂问题再转交给大模型。这种”路由式”架构既能控制成本,又能保证复杂任务的质量。
选型前,先把业务任务拆开。下表是一种通用划分方式,并非某个具体模型的官方说明。
| 任务类型 | 推荐模型级别 | 关注指标 |
|---|---|---|
| 复杂问答、多轮推理、代码辅助 | 中大型模型 | 推理准确率、指令遵循 |
| 结构化输出、Agent工具调用 | 中型模型,视稳定性决定 | 格式成功率、工具调用正确率 |
| 分类、情感识别、标签提取 | 小型模型 | 准确率、吞吐量 |
| 批量摘要、意图识别、轻量客服 | 小型模型 | 单次成本、响应延迟 |
使用这张表时,有几点需要注意。
法律合同审阅、复杂数据分析这类任务,错误代价高,通常需要更强的推理能力,不宜只看价格。
评论情感分类、工单标签提取这类任务规则清晰、输出较短,小型模型往往已经够用,可以先在评测集上验证。
多步骤Agent依赖稳定的工具调用和格式输出。一次格式错误可能让整条流程中断,所以要重点测试结构化输出的成功率。
高并发的C端产品需要关注延迟分布和失败重试。平均延迟好看不代表用户体验好,应该关注P95或P99这样的尾部延迟。
不要直接依赖公开榜单做决策。公开榜单的题目与你的业务未必相关,分数高也不代表在你的数据上表现好。
建议从真实业务中抽取100到500条样本。样本要覆盖三类内容:常见问题、边界问题和异常输入。异常输入包括空白内容、乱码、超长文本和含敏感信息的文本。评测集越接近真实流量,选型结论越可靠。
评测集应定期更新。业务变化后,旧样本的代表性会下降,结论也需要重新验证。
至少包括以下六项:
指标需要在同一批样本、同一提示词、同一温度参数下测量,否则比较结果没有意义。
Token计费的基本公式如下:
单次调用成本 = 输入Token数 × 输入单价 + 输出Token数 × 输出单价月度成本 = 日均调用量 × 单次调用成本 × 30
假设一个示例:某模型输入单价为每百万Token 1元,输出单价为每百万Token 4元。一次调用输入2000 Token、输出300 Token,则单次成本为 2000×1/10^6 + 300×4/10^6 = 0.002 + 0.0012 = 0.0032元。日均调用10万次,月度成本约为 0.0032×100000×30 = 9600元。
上面的单价只是演算用的假设数字,实际计算请以服务商最新价格表为准。计算时还要注意三个条件:是否有缓存命中折扣,是否有批量调用优惠,以及长上下文是否在超过某个阈值后单价上涨。
如果业务有大量长文档,输入Token会快速增长。此时可以通过摘要预处理、检索增强和分段调用降低成本。
建议先用小流量验证,例如5%的请求。指标稳定后,再逐步扩大比例。
工程上可以设计统一调用层,根据任务类型、成本预算和失败率切换模型。下面是一段示意代码。其中模型名称需要替换为服务商官方文档中的真实名称,密钥从环境变量读取,不能写入代码。
```python
import logging
import os
import time
from openai import OpenAI
logger = logging.getLogger(“llm_router”)
client = OpenAI(
api_key=os.environ[“LLM_API_KEY”],
base_url=os.environ.get(“LLM_BASE_URL”),
timeout=20.0, # 单次请求超时,单位秒
max_retries=2, # SDK内置的指数退避重试
)
MODEL_BY_TIER = {
“small”: os.environ.get(“SMALL_MODEL”, “small-model-name”),
“large”: os.environ.get(“LARGE_MODEL”, “large-model-name”),
}
def chat(tier: str, messages: list[dict]) -> str:
model = MODEL_BY_TIER.get(tier, MODEL_BY_TIER[“large”])
start = time.perf_counter()
try:
resp = client.chat.completions.create(model=model, messages=messages)
text = resp.choices[0].message.content
usage = resp.usage
logger.info(“model=%s latency=%.2fs in=%s out=%s”,
model, time.perf_counter() - start,
usage.prompt_tokens, usage.completion_tokens)
return text
except Exception: