一、适用场景与边界
中等参数规模模型(文中涉及27B、35B-A3B、122B-A10B等规格)在复杂Agent任务编排、超长文档分析和私有化知识库问答中表现良好。它们降低了对硬件的要求,但百万级上下文对显存、延迟和成本的压力远高于常规短文本场景。因此,本文不承诺低成本单卡运行百万上下文,而是给出可以自行核算、逐步验证的方法。
二、显存由哪几部分构成
部署时显存主要被三部分占用:
- 模型权重:参数量乘以每参数字节数。4-bit量化时约为参数量的一半,例如27B模型约13.5GB,35B模型约17.5GB,122B模型约61GB,这些数字尚未计入框架开销和激活值。MoE模型(如带A3B、A10B标记的模型)的全部专家权重仍需常驻显存,激活参数量只影响计算量,不减少权重占用。
- KV Cache:随上下文长度线性增长,是百万级上下文的主要显存压力来源。
- 运行时开销:包括中间激活、通信缓冲区和框架预留空间,通常需要预留数GB到十几GB,具体取决于推理引擎和批大小。
三、KV Cache估算方法
单个token的KV Cache字节数可按下式估算:
每token字节数 = 2 × 层数 × KV头数 × 头维度 × 每元素字节数
其中系数2代表Key和Value两份缓存。总占用等于每token字节数乘以上下文长度,再乘以同时处理的请求数。
以一个假设模型为例:48层、8个KV头、头维度128,KV Cache使用FP16(每元素2字节),则每token占用为 2 × 48 × 8 × 128 × 2 = 196,608字节,约196KB。100万token约需197GB。即使改用FP8(每元素1字节),仍需约98GB。这说明百万上下文即使只服务单个请求,也很可能超过单张80GB显卡的容量,必须采用多卡切分、分块处理或降低上下文长度。实际数值应从模型配置文件中的层数、KV头数和头维度读取,不要套用示例数据。
四、硬件与并行规划
先算出”权重加KV Cache加运行时开销”的总需求,再选择硬件,判断流程如下:
- 检查目标上下文长度的KV Cache能否放进单卡剩余显存。能放下则可单卡部署,否则进入第2步。
- 使用张量并行,把权重和KV Cache切分到多张GPU上。所需卡数等于总需求除以单卡可用显存,结果向上取整,同时要考虑卡间互联带宽对性能的影响。
- 若卡数过多或成本不可接受,则降低上下文上限、采用分块或流式处理,或选用支持稀疏注意力的方案,然后重新估算。
系统内存建议不低于显存的1.5倍,这只是起始值,应根据实际数据预处理量调整。
五、部署步骤
- 环境初始化:安装与GPU驱动版本匹配的CUDA运行环境和容器运行时。防火墙只开放API网关端口,推理引擎端口仅绑定内网地址。
- 下载模型并核对配置:读取config.json,记录层数、KV头数和头维度,用于第三步的估算。
- 配置量化:权重量化与KV Cache量化是两个独立选项。权重量化减少参数占用,KV Cache量化减少缓存占用。二者可以组合,但是否支持某种组合取决于引擎版本,需分别开启并验证。
- 设置上下文上限与并行数:根据估算结果设定最大上下文长度和张量并行数。上下文长度应设为经过验证、能稳定运行的值,而不是理论最大值。
- 启动并检查日志:确认权重加载完成、量化生效且没有报错,并记录启动后的显存占用。
- 部署API网关:将推理端点转发为生产接口,接入鉴权、限流和日志,并按需开启工具调用协议。
配置示例(以vLLM为例,参数名和取值以所用版本文档为准):
vllm serve /models/your-model \ --quantization <与模型匹配的量化方式> \ --kv-cache-dtype fp8 \ --max-model-len 262144 \ --tensor-parallel-size 4 \ --gpu-memory-utilization 0.90 \ --host 127.0.0.1 --port 8000
其中--max-model-len和--tensor-parallel-size的数值只是占位示例,需要替换为第三、四节估算后的结果。
六、量化精度验证
量化后不能只看模型能否正常生成文本,建议按以下方式验证:
- 选取与业务相关的评测集,例如问答准确率、代码通过率或字段抽取准确率。量化前后各跑一次。
- 使用相同的解码参数和随机种子对比输出,记录指标变化。
- 若精度下降超过业务可接受的阈值(由业务方设定,例如1至3个百分点),先尝试更保守的量化方案,或保持KV Cache为FP16,然后重新测试。
七、上线验证与阈值
- 基础连通性:用curl发送短文本请求,要求HTTP状态码为200,且响应结构符合接口定义。
- 长上下文测试:在隔离环境中从较短长度逐步增加,例如依次测试10万、30万、50万token,直至目标值。每一步记录GPU峰值显存。可在文档开头、中部和结尾埋入特定信息,检查模型能否准确取回。
- 显存阈值:峰值显存超过单卡总量的90%视为风险,需降低上下文上限或并发数。
- 延迟阈值:首字延迟(TTFT)和每秒输出token数应满足业务服务等级协议。超出时检查算力瓶颈和批处理配置。
- 工具调用:模拟多步Agent流程,检查生成的工具参数是否符合JSON Schema,并确认工具返回结果被正确处理。
- 失败回退:长上下文测试可能触发OOM或导致进程崩溃,因此不得在生产实例上直接执行。一旦出现异常,立即回退到已验证的上下文上限,并保留日志用于分析。
八、常见问题排查
显存溢出(OOM)的排查顺序如下:
- 降低最大上下文长度或单次请求的token上限。
- 检查KV Cache量化是否真正生效,查看启动日志中的显存分配信息。
- 检查并行切分是否合理,卡数不足时增加张量并行数。
- 减少并发批大小,或引入请求队列,限制同时处理的长请求数量。
- 仍无法解决时,在应用层将文档分块,逐块处理后再汇总结果。
推理延迟过高时,应先确定耗时集中在预填充(prefill)阶段还是解码阶段。预填充慢时,可考虑增加算力或启用分块预填充。解码慢时,应检查显存带宽和批处理设置。
工具调用失败时,检查工具定义JSON是否标准,确认引擎支持当前版本的函数调用格式,并确认系统提示词中写明了工具使用规则。
九、运维、发布与回滚
- 监控指标:跟踪GPU利用率、显存占用、请求