简介:Decode-Only架构下Prefill与Decode是两种完全不同的负载,混合部署必然互相干扰。本文讲清PD分离的提出背景、KV Cache传输机制、MoE模型的工程落地参数,以及什么场景才值得拆分部署;若你只想快速调用现成模型,可先通过[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比模型能力与调用成本,用统一API接入后再决定是否自建。
当前主流推理架构是 MoE + Decoder-Only 的组合。MoE 由门控网络加若干专家模型组成,门控网络为每个请求挑选合适的专家激活,单一请求通常只激活少部分专家,即稀疏激活;Decoder-Only 则基于前文逐步生成下一个词,推理被切分为 prefill 与 decode 两个阶段。
问题在于,这两个阶段对硬件的诉求几乎相反:
| 维度 | Prefill 阶段 | Decode 阶段 |
|---|---|---|
| 计算特征 | 计算密集型,一次性处理全部输入 token,算力容易打满 | 访存密集型,每步只出 1 个 token,主要开销是搬权重和 KV Cache |
| 并行策略偏好 | 倾向较大 TP、追求算力利用率 | 倾向较小 TP + 高并发,追求带宽利用与低时延 |
| 核心指标 | TTFT(首 token 响应时间) | TPOT(后续平均每 token 生成时间) |
混部时会暴露两个棘手问题: 阶段间强干扰 (长 prompt 涌入会挤占 decode 的算力,导致 TPOT 抖动)和 资源分配与并行策略的耦合 (一套并行配置无法同时最优)。这正是 PD 分离要解决的。
DistServe 论文首次提出 PD 分离:把两个阶段拆到不同设备(或同设备的不同 GPU)上独立部署,各自配置资源与并行策略,从而分别优化 TTFT 和 TPOT。
顺带回答一个常被问到的问题: 为什么只缓存 K、V 而不缓存 Q? 因为 Q 只参与当前 step 的注意力打分,算完即弃,下一个 token 会重新计算自己的 Q;而 K、V 代表历史上下文,每一步都要被复用,必须常驻缓存。所以跨阶段真正需要传输的只有 K/V 和首个 token。
以百度智能云百舸 AIAK 推理加速引擎的 DeepSeek PD 分离实践为例,落地要点如下:
bcecmd bos sync 从 BOS 拉取模型,路径中的 bj 需按实际 Region 替换;关键环境变量(无特殊需求可直接用平台推荐值):
| 参数 | 说明 | 推荐值 |
|---|---|---|
| MODEL_TP_SIZE | 张量并行 GPU 数 | 4 |
| MODEL_DP_SIZE | 数据并行 GPU 数 | 8 |
| MAX_PREFILL_TOKENS | 预填充单批最大 token 数 | 8192 |
| MAX_RUNNING_REQUESTS | 并发请求上限 | 256 |
| MAX_TOTAL_TOKENS | 单请求输入输出 token 总上限 | 300000 |
| MEM_FRACTION_STATIC | 固定分配给 KV Cache 等的显存比例 | 0.95 |
| CUDA_GRAPH_MAX_BS | CUDA Graph 允许的最大 Batch Size | 64 |
| ENABLE_REDUNDANT_EXPERTS | 冗余专家使能(关闭需同时设 SET_DEEP_DP_NUM_EXPERTS=256) | true |
| MODEL_PATH / MODEL_PATH_NEXTN | R1 权重与 NextN 权重的容器挂载路径 | /deepseek、/deepseek-nextn |
MoE 场景要特别注意 专家负载不均 :热点专家会让个别 GPU 变成长尾,拖慢整批 decode,因此平台提供冗余专家与 DeepSeek DP 配置来缓解;NextN 属于多 token 预测模块,需单独挂载路径才能生效。
不建议拆分的情况 :请求量小、prompt 短、单机单卡已能扛住。此时 P/D 资源配比难以打准,KV 传输还会额外吃带宽,反而拉高 TTFT。
建议拆分的情况 :
调优顺序建议:先按输入/输出长度分布估算 P:D 配比 → 压测观察两端利用率是否均衡 → 再微调 MAX_PREFILL_TOKENS 与 MEM_FRACTION_STATIC。
如果暂时不想承担集群运维成本,更务实的路径是先用托管服务跑通效果基线:通过词元所的大模型 API 服务平台做模型选型与价格对比,用统一 API 接入多家模型(类似 OneAPI 中以统一接口纳管不同厂商模型的思路),把调用数据积累起来,再判断自建 PD 分离集群是否划算。
MEM_FRACTION_STATIC 设得过高,长上下文下 OOM;网关仍用简单轮询,未考虑 P/D 实例的实际队列深度。
小结 :PD 分离的本质不是”拆机器”,而是把 TTFT 和 TPOT 两个互相牵制的指标解耦,让资源分配与并行策略各自最优。落地时先判断负载特征,再决定拆不拆、怎么配比。想快速验证不同模型的性价比与接入方式,可从百度智能云词元所开始对比与试用。