简介:本文面向22G至24G显存的单卡环境,说明百亿参数开源模型的显存预算估算、硬件规划、量化方案选择、KV Cache与上下文长度配置,以及上线验证和故障排查方法。读者可据此判断自己的配置是否可行,并掌握OOM与速度下降的排查思路。
一、适用范围
本文以27B参数的开源大语言模型为例。文中的数值依赖具体模型、量化格式和推理引擎版本,读者应使用自己的实际配置替换示例参数,并以实测结果为准。
二、先算显存预算
单卡显存需要同时容纳三部分内容:模型权重、KV Cache和运行时开销。运行时开销包括激活值、CUDA上下文和框架缓冲区,通常需要预留数GB,具体数值取决于引擎和批大小。
权重占用可以按下式估算:
权重显存 ≈ 参数量 × 每参数位数 ÷ 8
以27B模型为例,主体采用4位量化时,理论值约为13.5GB。嵌入层和lm_head若采用Int8,总量会略高。量化后的实际体积应以模型文件为准。
KV Cache占用可以按下式估算:
KV Cache显存 ≈ 2 × 层数 × KV头数 × head_dim × 上下文长度 × 每元素字节数 × 并发请求数
其中,系数2代表K和V两份缓存。FP16下每元素占2字节,Q4量化后约0.5字节,另加量化参数的少量开销。层数、KV头数和head_dim可以在模型的config.json中查到。KV头数通常远少于注意力头数,因为很多模型采用分组查询注意力(GQA)。
举例说明:假设权重占用15GB,运行时预留2GB,那么22GB显卡剩余约5GB可用于KV Cache。即使开启Q4 KV Cache,可支持的上下文长度仍受这5GB的限制。权重越大,留给上下文的空间越小。若要支持更长的上下文,可以选择更小的模型或更低位宽的权重,也可以将部分层卸载到系统内存,但卸载会降低速度。
早期方案中“240K上下文约占21G显存”的说法缺少模型结构和量化方式的依据,本文不采用该数值。
三、硬件与存储规划
GPU是主要瓶颈。本文的方案以22G或24G显存的单卡为下限。
系统内存的容量取决于是否做层级卸载。若不卸载,64GB系统内存通常足以承载模型加载和服务进程。若需要卸载,应按卸载的数据量预留内存,并确认主板和CPU支持的内存类型与带宽。早期方案中提到的DDR3平台需要先确认兼容性,不宜作为默认配置。
模型文件体积较大,SSD可以明显缩短加载时间。机械硬盘主要拖慢冷启动。服务稳定运行后,若系统没有发生频繁换页,机械硬盘对推理速度的影响较小。
服务以API形式对外提供。内网部署时应限制访问来源;对外网开放时,应增加鉴权,并通过TLS加密传输。
四、环境准备与检查
五、量化方案选择
早期方案中的量化描述存在矛盾,需要先厘清。W4A16表示权重为4位、激活值为16位。多数W4A16内核在计算时会将权重反量化后,用FP16完成矩阵乘。Int8张量核心加速对应的是W8A8等量化路线。两种路线不能简单叠加在同一层上,需以所选引擎的文档确认其实际支持的组合。若引擎不支持某种组合,应选择引擎明确支持的量化格式。
关于计算精度,两类模型的处理方式不同:
只有确认模型包含上述结构时,才应采用对应的状态精度策略。不要将某一类模型的策略直接套用到其他模型上。
量化完成后,应使用固定的测试提示词,对比量化前后的输出,重点关注代码正确性、指令遵循和长文本问答的准确率。
六、KV Cache量化与上下文长度
Q4 KV Cache能显著降低长上下文的缓存占用,但量化会引入误差。过度量化可能导致长文本中的关键信息召回变差。建议在多个档位测试,例如4K、32K、128K,记录召回准确率和显存占用,再确定可接受的上限。
本文不给出固定的上下文上限。只有在明确的模型、量化格式、内存卸载方式和并发设置下完成实测,才能将结果写入配置文档。1M上下文需要单独验证,不应作为默认目标。
建议按下表记录实测结果:
| 上下文长度 | 显存占用 | 首token延迟 | 解码速度 | 召回是否正确 |
|---|---|---|---|---|
| 实测后填写 | 实测后填写 | 实测后填写 | 实测后填写 | 实测后填写 |
七、推理引擎参数
启动前应列出关键参数,并用配置文件管理:
```
model: <模型路径>
quantization: <引擎支持的量化格式>
max_model_len: <经实测确定的上下文上限>
kv_cache_dtype: <例如q4,需引擎支持>
max_num_seqs: <并发数>
speculative: <可选的MTP参数,