简介:小模型选型常被忽略的三个问题:任务怎么分级、成本怎么算、出错怎么降级。本文给出三步选型法、按重试率测算月度成本的方法,以及带超时、异常分类和重试上限的多模型路由代码,帮你在准确率可接受的前提下压低账单。
小模型的价值不在”聪明”,而在三个工程指标。
成本可控。 按 Token 计费时,单次调用成本 = 输入 Token × 输入单价 + 输出 Token × 输出单价。同一任务换到更小的模型,单价通常明显下降。调用量大时,这个差距会被放大。
延迟更低。 分类、抽取、改写、工具调用对首字延迟敏感。小模型更容易满足交互式产品的响应要求。
部署灵活。 小模型体积小,既可以走云端 API,也可以部署在私有服务器上,适合数据不能出域的场景。
本文的选型方法不依赖某一款具体型号。mini、nano 指的是各服务商提供的同类小规模模型。上下文窗口、定价和可用区域请以各服务商官方文档为准。
小模型的主要对手,通常是”用旗舰模型硬扛简单任务”的做法。
第一步:划清任务边界。 单轮分类、字段抽取、格式转换、模板化改写,适合放到 nano 档。带工具调用、多轮上下文、需要简单推理的摘要与问答,适合放到 mini 档。多步规划、复杂代码生成和长文档推理,仍然交给旗舰档。
第二步:用真实样本建评测集。 50 到 100 条线上样本就够用。只看三个指标:任务准确率、输出格式合规率(JSON 解析失败率)、平均输出 Token 数。第三项最容易被忽略。输出啰嗦,账单会直接翻倍。
第三步:算总成本,而不是只看单价。 重试会增加实际消耗,要算进去:
单次有效成本 = (输入Token × 输入单价 + 输出Token × 输出单价) × (1 + 重试率)月度成本 = 单次有效成本 × 日调用量 × 30
这里的重试率指”需要重新请求的调用次数 ÷ 总调用次数”,按请求计,不按 Token 计。
举个算例。假设输入单价为每百万 Token 1 元,输出单价为每百万 Token 4 元。这只是演示用的假设值,实际价格以官方为准。单次调用输入 2000 Token、输出 500 Token,重试率 5%,日调用量 10 万次:
把输出从 500 Token 压到 200 Token,月度成本降到约 8820 元。在输出较长的场景里,控制输出长度带来的收益可能比换模型更大。
小模型上线后,最值得补的基础设施是按难度路由加失败降级。下面的代码以 OpenAI 兼容接口为例,密钥、地址和模型名都从环境变量读取。
import osimport timefrom openai import (OpenAI,APIConnectionError,APITimeoutError,InternalServerError,RateLimitError,)client = OpenAI(api_key=os.environ["LLM_API_KEY"],base_url=os.environ["LLM_BASE_URL"],timeout=20.0, # 单次请求超时(秒)max_retries=0, # 重试由下面的 chat() 统一控制)SMALL = {"model": os.environ["LLM_SMALL_MODEL"], "max_tokens": 512}FLAGSHIP = {"model": os.environ["LLM_FLAGSHIP_MODEL"], "max_tokens": 2048}# 只对这些临时性错误重试和降级RETRYABLE = (APITimeoutError, APIConnectionError, RateLimitError, InternalServerError)def chat(messages, hard=False, attempts_per_route=2):# hard=True 时旗舰优先,否则小模型优先;失败后切到另一条路由routes = [FLAGSHIP, SMALL] if hard else [SMALL, FLAGSHIP]last_err = Nonefor route in routes:for attempt in range(attempts_per_route):try:resp = client.chat.completions.create(model=route["model"],messages=messages,max_tokens=route["max_tokens"],)return resp, route["model"]except RETRYABLE as e:last_err = etime.sleep(min(2 ** attempt, 4)) # 指数退避,上限 4 秒# 最多 2 条路由 × 2 次尝试,之后明确失败raise RuntimeError(f"所有模型路由均失败: {last_err}") from last_err
这段代码有几个设计点:
调用方可以在返回后记录 resp.usage 中的输入和输出 Token 数,并附上模型名标签,按模型和业务场景拆分账单。
第一,结构化输出要加校验。用 JSON Schema 检查返回结果,校验失败时自动重试一次。这一步的成本远低于让错误数据进入下游系统。
第二,低置信度样本要回流。小模型输出不稳定的请求,记录下来形成难例集。下一轮换模型或调整 Prompt 时,用这批样本做回归测试。
第三,供应商切换只改配置。模型名和接口地址放在配置里,业务代码不感知具体厂商。换模型或设置主备时,改动范围很小。