简介:面向开发者和运维人员,讲清混合专家模型与密集模型本地部署的关键决策:如何按参数量和上下文估算显存,怎样根据延迟与精度要求选择量化位数,如何经网关安全上线,以及怎样验证、排障和回滚。读完可以独立搭建一套可审计、可回滚的私有推理服务。
混合专家模型(MoE)每个token只激活部分专家,所以单次推理的计算量由激活参数量决定。这能降低每个token的计算开销,却不能降低存储开销。除非做专家卸载,全部专家权重都要驻留在内存或显存中。因此,显存规划要看总参数量,计算规划才看激活参数量。这是容量规划最容易出错的地方。
紧凑型密集模型每次推理都会用到全部参数,资源需求更直接,部署流程也更简单。两类模型的选型,取决于硬件预算、延迟目标和运维能力。
显存主要由三部分组成:权重、KV cache 和框架开销。
权重显存约等于参数量乘以每参数字节数。FP16 为 2 字节,INT8 为 1 字节,INT4 约为 0.5 至 0.6 字节,其中多出的部分来自量化缩放系数等元数据。
KV cache 的估算公式为:
KV cache 字节数 = 2 × 层数 × KV头数 × 头维度 × 上下文长度 × 并发数 × 每元素字节数
框架开销通常预留总量的 10% 至 20%。
下面用一个假设的模型做示例计算。总参数 30B,采用 INT4,权重约 30 × 0.55 ≈ 16.5 GB。模型有 48 层,8 个 KV 头,头维度 128,KV cache 用 FP16,上下文 8192,并发 4,则 KV cache 约为 2 × 48 × 8 × 128 × 8192 × 4 × 2 ≈ 6.4 GB。两项相加约 22.9 GB,再预留 15% 的框架开销,约需 26 GB。这是计算结果,不是实测数据。实际层数和 KV 头数要从模型的配置文件中读取,上线前必须用真实负载校准。
| 精度 | 每参数字节(约) | 显存占用 | 质量与速度特点 | 适用场景 |
|---|---|---|---|---|
| FP16/BF16 | 2 | 基线 | 质量基线,占用最大 | 评测基准、资源充足 |
| INT8 | 1 | 约为 FP16 的一半 | 质量通常接近基线,需实测 | 质量敏感的离线任务 |
| INT4 | 约 0.5 至 0.6 | 约为 FP16 的四分之一 | 质量损失因模型和任务而异 | 在线交互、资源受限 |
量化对质量的影响没有统一数字。同一种量化方式,在问答、摘要、代码等不同任务上的表现可能差别很大。选定精度前,应准备一份覆盖真实业务的评测集,对比不同精度的准确率、首 token 延迟和吞吐。速度提升也取决于推理内核和硬件,不能直接套用别人的数字。
| 场景 | 推荐形态 | 量化建议 | 说明 |
|---|---|---|---|
| 在线问答,延迟敏感 | 中等规模 MoE | INT4,先过评测集 | 激活参数少,单 token 计算量低 |
| 离线批处理,质量优先 | 中等或较大 MoE | INT8 或更高 | 对吞吐敏感,可接受较长延迟 |
| 单机验证,中小团队 | 紧凑型密集模型 | INT4 起步 | 部署路径短,排障简单 |
| 超大参数模型 | 集群化部署 | 按吞吐评估 | 单机难以承载,需专门容量规划 |
部署前需要完成以下准备工作。
/data/models/v2026.11.01。以下配置示例说明了关键字段。具体字段名以所选推理引擎的文档为准。
engine:name: your-engine # 所选推理引擎model_format: gguf # 与引擎匹配的模型格式model_file: /data/models/current/model-int4.gguftokenizer: /data/models/current/tokenizer.jsonquantization: int4host: 127.0.0.1 # 只监听回环地址,禁止直接暴露公网port: 8080ctx_size: 8192 # 最大上下文,直接影响KV cacheparallel_slots: 4 # 最大并发槽位batch_size: 512request_timeout_s: 120health_path: /health # 健康检查端点metrics_path: /metrics # 指标端点gateway:listen: 0.0.0.0:443tls_cert: /etc/tls/server.crttls_key: /etc/tls/server.keyapi_key_env: MODEL_API_KEY # 从环境变量读取,不写明文rate_limit_rpm: 120upstream_timeout_s: 150ip_allowlist:- 10.0.0.0/8logging:level: infoaudit: trueredact_fields: [prompt, api_key]
启动和上线按以下顺序执行。
cd /data/models/v2026.11.01 && sha256sum -c SHA256SUMScurl -sS -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8080/healthcurl -sS https://gateway.example.internal/v1/chat/completions -H "Authorization: Bearer $MODEL_API_KEY" -H "Content-Type: application/json" -d '{"messages":[{"role":"user","content":"你好"}]}'ln -sfn /data/models/v2026.11.01 /data/models/currentln -sfn /data/models/v2026.10.15 /data/models/current吞吐和延迟的测量口径要统一。同一组提示词,固定输出长度,预热后取多次运行的均值。报告中必须写明硬件型号、引擎版本、量化格式、上下文长度和批大小。关键指标包括首 token 延迟(P50、P95)、输出吞吐(token/s)、显存峰值、错误率和超时率。
| 现象 | 先检查什么 | 常见处理 |
|---|---|---|
| 显存不足,日志出现 out of memory | 上下 |