简介:本文给出本地大模型推理三种配置(基础推理、前缀缓存增强、投机解码)的测试方法、指标定义与记录模板,并给出结合前提条件和净加速估算的选型判断条件。文中不含实测数据,读者可按流程自行测量并对比。
本文讨论本地大模型推理中三种常见配置。三种配置需要在同一台设备、同一推理框架、同一提示词下运行,结果才具有可比性。
这三种方案改变的环节不同。方案A是对照基线,方案B主要改变预填充阶段,方案C主要改变逐token生成阶段。因此,三者在加载时间、首字响应和持续生成速度上的表现会各自不同。
方案A只需要基础模型文件和推理框架,依赖最少,适合作为性能基线和问题排查的起点。
方案B需要框架支持前缀缓存,而且请求之间确实存在共享前缀。如果每次提示词都完全不同,缓存命中率接近零,收益也接近零。缓存会占用显存或内存,多轮对话中上下文增长后,缓存占用也会随之增加。
方案C的前提条件更多:
测试报告应记录下列参数。缺少任何一项,其他人就难以复现结果。
| 参数类别 | 需要记录的内容 |
|---|---|
| 硬件 | 处理器型号、图形计算设备型号与显存容量、系统内存容量 |
| 系统 | 操作系统版本、电源模式、测试期间运行的后台程序清单 |
| 框架 | 推理框架名称与版本,以及附加组件版本 |
| 模型 | 模型名称、参数规模、量化格式(如INT4、INT8、FP16)、模型文件校验值 |
| 请求 | 上下文长度、最大输出token数、温度、top_p |
| 方案C附加项 | 草稿模型名称、候选token数k |
| 运行方式 | 预热次数、正式运行次数 |
测试时建议把温度设为0,以减少随机性。若业务实际使用非零温度,应单独测试,因为温度变化会改变接受率。
每组测试前先预热一次。预热结果不计入统计,但需要记录,因为第一次运行通常包含内存分配和缓存建立等额外开销。正式运行至少5次,报告中位数和最大最小值,不建议只报告单次结果。
提示词需要固定,并要求模型生成固定长度的文本。三种方案都使用同一段提示词和同一输出长度上限。
计算公式为:
持续生成速度 = (生成token数 - 1) / (最后一个token的时间 - 第一个token的时间)
该指标排除了首字阶段,只衡量稳定生成能力。报告时需要同时写出生成token数。如果两种方案的输出长度不同,只比较总耗时会产生误导。
nvidia-smi --query-gpu=memory.used --format=csv -l 1 每秒采样一次显存占用。下表仅为记录模板,本文不提供实测数值。每个单元格需要由读者在自己的环境中填写。
| 指标 | 方案A | 方案B | 方案C |
|---|---|---|---|
| 模型加载时间(秒) | 待填 | 待填 | 待填 |
| 首字响应时间(毫秒) | 待填 | 待填 | 待填 |
| 持续生成速度(token/秒) | 待填 | 待填 | 待填 |
| 峰值显存或内存(GB) | 待填 | 待填 | 待填 |
| 生成token数 | 待填 | 待填 | 待填 |
| 方案C接受率(被接受候选数 / 候选总数) | 不适用 | 不适用 | 待填 |
接受率多数推理框架会在日志中给出。如果框架没有输出,可以在解码循环中自行统计。
投机解码的收益不能只看草稿模型是否更快。草稿模型的开销和接受率共同决定最终效果。
每轮平均生成的token数可以用下式估算:
E = (1 - α^(k+1)) / (1 - α)
其中,α为接受率,k为每轮候选token数。若草稿模型单次前向耗时与目标模型单次前向耗时之比为c,则理论加速比约为:
加速比 ≈ E / (k·c + 1)
下面用假设参数演示公式的敏感性。取k=4,c=0.1:
以上数值只用于说明公式,不是测试结果。公式忽略了调度、显