简介:本文面向需要私有化部署中等规模语言模型的团队,给出KV Cache显存估算公式、启动参数示例、长上下文降级策略和上线验收阈值。读者可据此算清硬件需求,避免仅凭参数表或演示环境判断服务能否承载生产流量,并在出现故障时按顺序排查。
本文面向需要在私有环境、专属资源池或受控云中部署中等规模语言模型的团队。部署目标是让服务能通过统一入口被业务系统调用,具备鉴权、限流、超时和日志能力,并且在约定并发下达到可验证的时延、吞吐和质量指标。
文中的数字都是示例,用于说明计算方法。正式规划时,应替换为目标模型的实际结构参数和本地压测结果。
托管 API 和私有化部署各有适用区间。选择前可以对照以下五个维度:
涉及医疗、金融、政务等高风险场景时,需要增加输出过滤、人工复核和审计留存。模型输出只能作为辅助材料,不能直接作为最终决策。
推理显存由三部分组成:模型权重、KV Cache 和运行时开销(激活值、通信缓冲区、系统预留)。权重大小相对固定,KV Cache 则随上下文长度和并发数线性增长,是长上下文场景中最需要测算的部分。
权重占用可按参数量乘以每参数字节数估算。例如 300 亿参数、4-bit 量化的权重约 15 GB(30B × 0.5 字节),不含量化元数据和缓存。
单个 token 的 KV Cache 占用可按下式估算:
每 token 字节数 = 2 × 层数 × KV 头数 × head_dim × 每元素字节数
系数 2 表示 Key 和 Value 两份缓存。采用分组查询注意力(GQA)的模型,KV 头数通常远少于查询头数,这一点会显著降低 KV Cache 占用。
假设某模型有 48 层、8 个 KV 头、head_dim 为 128,则:
这个例子说明,即使 KV Cache 做了 4-bit 量化,单条 100 万 token 的请求也可能占用几十 GB 显存,尚未计入权重和其他并发请求。因此,不能因为模型支持百万级上下文,就推断单张 32 GB 消费级 GPU 能承载百万级上下文服务。
容量测算建议按以下步骤进行:
不同上下文档位(例如 16K、128K、1M)应分别按上述步骤计算,再决定对应的硬件规格。超长档位通常需要独立的资源池,不宜与短请求混部。
一套可生产运行的模型服务通常包含以下组件:
| 组件 | 作用 | 部署要点 |
|---|---|---|
| 推理引擎层 | 加载权重、管理 KV Cache、执行生成 | 选型见下表,锁定版本 |
| 服务接入层 | 暴露接口、鉴权、限流、协议适配 | 兼容常用对话接口,支持流式返回 |
| 编排与弹性层 | 实例调度、健康检查、扩缩容 | 按显存占用和队列长度触发伸缩 |
| 缓存与状态层 | 会话状态、前缀缓存 | 区分易失缓存与持久会话,敏感上下文不长期落盘 |
| 观测层 | 指标、日志、链路追踪、告警 | 记录 TTFT、TPOT、吞吐、显存、队列时延、错误率 |
| 安全层 | 身份认证、网络隔离、密钥管理 | 最小权限、传输加密、访问白名单 |
| 制品层 | 权重、配置、微调产物、评测集 | 版本化存放,记录 SHA256 哈希 |
选择推理引擎时,可以逐项检查以下能力:
| 检查维度 | 为什么要查 |
|---|---|
| 连续批处理 | 决定 GPU 利用率,影响吞吐与单请求时延的平衡 |
| 分页式 KV Cache 管理 | 减少显存碎片,支持更多并发序列 |
| 张量并行 | 决定能否用多卡承载大权重或长上下文 |
| 前缀缓存 | 对重复系统提示词和多轮历史有明显收益 |
| KV Cache 量化 | 直接影响长上下文的显存占用 |
| 流式输出 | 决定首 token 时延的用户感知 |
推荐顺序为:准备环境、导入制品、启动推理、接入网关、验证指标、灰度放量。
第一步,初始化节点。为推理节点配置独立资源池,关闭无关服务,统一时间同步和日志目录。使用容器编排时,先创建命名空间、资源配额和网络策略。
第二步,导入并校验制品。部署时按版本拉取权重,并核对 SHA256 哈希。哈希不一致时立即停止部署。
第三步,以保守参数启动。以下示例以 vLLM 的参数名为例,其他引