大模型PD分离部署详解:TTFT与TPOT优化实战

作者:谁偷走了我的奶酪2026.11.17 03:30浏览量:0

简介:Decode-Only架构下Prefill与Decode是两种完全不同的负载,混合部署必然互相干扰。本文讲清PD分离的提出背景、KV Cache传输机制、MoE模型的工程落地参数,以及什么场景才值得拆分部署;若你只想快速调用现成模型,可先通过[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比模型能力与调用成本,用统一API接入后再决定是否自建。

一、根源:Prefill 和 Decode 根本不是同一种负载

当前主流推理架构是 MoE + Decoder-Only 的组合。MoE 由门控网络加若干专家模型组成,门控网络为每个请求挑选合适的专家激活,单一请求通常只激活少部分专家,即稀疏激活;Decoder-Only 则基于前文逐步生成下一个词,推理被切分为 prefill 与 decode 两个阶段。

问题在于,这两个阶段对硬件的诉求几乎相反:

维度 Prefill 阶段 Decode 阶段
计算特征 计算密集型,一次性处理全部输入 token,算力容易打满 访存密集型,每步只出 1 个 token,主要开销是搬权重和 KV Cache
并行策略偏好 倾向较大 TP、追求算力利用率 倾向较小 TP + 高并发,追求带宽利用与低时延
核心指标 TTFT(首 token 响应时间) TPOT(后续平均每 token 生成时间)

混部时会暴露两个棘手问题: 阶段间强干扰 (长 prompt 涌入会挤占 decode 的算力,导致 TPOT 抖动)和 资源分配与并行策略的耦合 (一套并行配置无法同时最优)。这正是 PD 分离要解决的。

二、PD 分离的机制:DistServe 思路与 KV Cache 传输

DistServe 论文首次提出 PD 分离:把两个阶段拆到不同设备(或同设备的不同 GPU)上独立部署,各自配置资源与并行策略,从而分别优化 TTFT 和 TPOT。

  • P 实例 :把输入 prompt 转成 Q、K、V 并生成首个 token,同时把 K、V 落盘到显存供后续使用;
  • D 实例 :拉取这份 K、V,基于「prompt + 首 token」迭代生成 token1、token2……直到输出结束;
  • 传输通道 :在具备 IB(或 RoCE)网络的环境下完成跨实例 KV Cache 搬运。

顺带回答一个常被问到的问题: 为什么只缓存 K、V 而不缓存 Q? 因为 Q 只参与当前 step 的注意力打分,算完即弃,下一个 token 会重新计算自己的 Q;而 K、V 代表历史上下文,每一步都要被复用,必须常驻缓存。所以跨阶段真正需要传输的只有 K/V 和首个 token。

三、工程落地:以 DeepSeek 的 PD 分离部署为例

以百度智能云百舸 AIAK 推理加速引擎的 DeepSeek PD 分离实践为例,落地要点如下:

  1. 服务编排 :需分别部署 Prefill 与 Decode 服务,并将 P、D 加入同一服务组;
  2. 资源配置 :算力选 Hopper 架构,推荐 CPU 100 核、内存 1024G,开启分布式推理、Prefill-Decode 分离与 RDMA;
  3. 权重准备 :用 bcecmd bos sync 从 BOS 拉取模型,路径中的 bj 需按实际 Region 替换;
  4. 流量接入 :选择云原生网关,负载均衡策略设为轮询并正确填写端口号。

关键环境变量(无特殊需求可直接用平台推荐值):

参数 说明 推荐值
MODEL_TP_SIZE 张量并行 GPU 数 4
MODEL_DP_SIZE 数据并行 GPU 数 8
MAX_PREFILL_TOKENS 预填充单批最大 token 数 8192
MAX_RUNNING_REQUESTS 并发请求上限 256
MAX_TOTAL_TOKENS 单请求输入输出 token 总上限 300000
MEM_FRACTION_STATIC 固定分配给 KV Cache 等的显存比例 0.95
CUDA_GRAPH_MAX_BS CUDA Graph 允许的最大 Batch Size 64
ENABLE_REDUNDANT_EXPERTS 冗余专家使能(关闭需同时设 SET_DEEP_DP_NUM_EXPERTS=256) true
MODEL_PATH / MODEL_PATH_NEXTN R1 权重与 NextN 权重的容器挂载路径 /deepseek、/deepseek-nextn

MoE 场景要特别注意 专家负载不均 :热点专家会让个别 GPU 变成长尾,拖慢整批 decode,因此平台提供冗余专家与 DeepSeek DP 配置来缓解;NextN 属于多 token 预测模块,需单独挂载路径才能生效。

四、什么时候该上 PD 分离

不建议拆分的情况 :请求量小、prompt 短、单机单卡已能扛住。此时 P/D 资源配比难以打准,KV 传输还会额外吃带宽,反而拉高 TTFT。

建议拆分的情况 :

  • 长 prompt 场景(RAG、文档解析、代码库问答),prefill 压力显著;
  • 高并发在线服务,TTFT 与 TPOT 需分别设 SLA;
  • 已具备 IB/RoCE 高速网络,KV 传输不构成瓶颈;
  • 需要按业务潮汐独立扩缩容 P 或 D。

调优顺序建议:先按输入/输出长度分布估算 P:D 配比 → 压测观察两端利用率是否均衡 → 再微调 MAX_PREFILL_TOKENS 与 MEM_FRACTION_STATIC。

如果暂时不想承担集群运维成本,更务实的路径是先用托管服务跑通效果基线:通过词元所的大模型 API 服务平台做模型选型与价格对比,用统一 API 接入多家模型(类似 OneAPI 中以统一接口纳管不同厂商模型的思路),把调用数据积累起来,再判断自建 PD 分离集群是否划算。

五、常见坑清单

  • KV 传输带宽不足,拆分后 TTFT 反而变差;
  • P/D 配比失衡,一端空转、另一端排队;
  • MEM_FRACTION_STATIC 设得过高,长上下文下 OOM;
  • CUDA Graph 的 batch 上限与实际并发不匹配,退化到 eager 模式;
  • 网关仍用简单轮询,未考虑 P/D 实例的实际队列深度。

    小结 :PD 分离的本质不是”拆机器”,而是把 TTFT 和 TPOT 两个互相牵制的指标解耦,让资源分配与并行策略各自最优。落地时先判断负载特征,再决定拆不拆、怎么配比。想快速验证不同模型的性价比与接入方式,可从百度智能云词元所开始对比与试用。