简介:大模型调价后,只看单价容易选错。本文给出一套可复现的评测方法:统一测试任务,记录迭代轮数,统计输入输出Token与缓存命中率,再按公式算出单个任务的真实成本。读完即可套用这套流程,在自己的业务场景中比较模型。
本文提供评测方法和成本计算口径,不发布模型排名。文中的数字都是演示用的假设值,读者应替换为自己的测试结果。模型价格和版本更新很快,脱离测试日期的排名很快失效,所以本文只讲方法。
API单价只是账单的一部分。某个模型每百万输入Token的价格较低,如果需要三轮修正才能跑通,调试时间和重复发送的上下文也会计入成本。同一任务在不同模型上消耗的Token数量也可能相差很大,因为输出长度、重试次数和上下文长度都会变化。因此,选型应比较完成同一任务的总金额和总耗时。
评测结果只有在条件相同时才能比较,开始前应记录以下内容:
选择一个业务需求,要求包含明确的业务规则、界面需求和可验证的目标。任务需要足够复杂,才能暴露逻辑错误,同时又能用脚本或人工清单验证结果。例如,可以设计一个小型模拟交易环境,规定若干条规则:某回合结束时收盘价需高于阈值,某时段的平均成交价需低于设定值,大额卖出时价格不能跌破下限。所有模型都拿到同一份Prompt,并在同一套环境中运行。
| 评测维度 | 判定方法 | 计算方式 |
|---|---|---|
| 功能完整性 | 对照需求清单逐条运行 | 通过条数 ÷ 需求总条数 |
| 逻辑正确性 | 运行模拟环境,检查结果与预期是否一致 | 关键规则错误数,越少越好 |
| 稳定性 | 同一Prompt重复运行5次 | 可直接运行次数 ÷ 5 |
| 迭代成本 | 达到可用版本所需的轮数 | 轮数,越少越好 |
| 单任务成本 | 按下节公式计算 | 金额,单位为元 |
单个任务的成本等于所有轮次的费用之和:
单轮费用 = 非缓存输入Token × 输入单价 + 缓存命中Token × 缓存单价 + 输出Token × 输出单价
缓存命中率 = 缓存命中的输入Token数 ÷ 总输入Token数
输入Token应包含系统提示、历史对话和代码上下文。多轮迭代时,历史内容会被重复发送,这部分不能忽略。不同平台返回的用量字段名称不同,应以该平台的计费文档为准,并记录数据来源。
下面是一个假设的例子,数字仅用于演示计算方法,不代表任何真实定价。某模型用三轮完成任务,总输入80万Token,其中60万命中缓存,总输出12万Token。假设输入单价为每百万Token 2元,缓存单价为每百万Token 0.5元,输出单价为每百万Token 8元。那么:
如果要把人工调试时间也算进去,可以用调试小时数乘以人工时薪,再与API费用相加。
结果比较应按以下顺序进行:
常见的结论形式如下。单轮通过率高、单任务成本低的模型,适合快速搭建原型。需要多轮才能稳定、但逻辑正确性高的模型,适合核心业务逻辑。高频调用、任务难度低的场景,应优先比较单位Token价格和缓存命中率。
大模型性价比取决于业务需求、模型能力和成本结构。用统一任务、固定变量和明确公式进行测试,才能得到可比较的结果。选型前,先按本文的流程跑一遍自己的任务,再决定使用哪个模型。