简介:在大模型推理服务中,Prefill与Decode两个阶段对计算与访存资源的需求截然不同。本文对比PD混合部署与PD分离两种推理架构,从部署拓扑、阶段干扰、并行策略、资源调度、通信开销、运维复杂度与成本结构等维度剖析差异,并给出不同业务场景下的选型建议与迁移注意事项,帮助你在TTFT与TPOT之间做出更契合自身需求的权衡。
随着大模型(尤其是采用混合专家架构的模型)逐步进入生产环境,推理服务的性能目标被拆解为两个核心指标:TTFT(首个token响应时间,Time To First Token)与TPOT(后续平均每个token生成时间,Time Per Output Token)。前者决定了用户”等待首字”的体感,后者决定了”逐字输出”的流畅度。
问题在于,这两个指标由推理链路中两个性质完全不同的阶段决定,而它们对硬件资源的需求几乎是相反的。因此,”如何组织这两个阶段”成为推理部署的关键架构决策。本文要对比的,正是围绕这一决策演化出的两种主流部署形态:PD混合部署与PD分离部署。
混合专家模型(MoE,Mixture of Experts)由门控网络与若干专家模型组成。门控网络负责为每个请求挑选合适的专家进行激活,不同专家擅长不同领域,而单个请求通常只激活少部分专家——这就是稀疏激活特性。它带来两个后果:一是参数量可以很大但单次计算量受控;二是不同请求命中的专家组合不同,导致负载分布不均、资源利用碎片化。
自回归仅解码(Decode-Only)架构基于前文逐步生成下一个词,推理过程可清晰拆为两个阶段:
在展开差异之前,先明确二者的共性,避免”非此即彼”的误读:
也就是说,分离部署并非”取代”混合部署,而是针对特定瓶颈提出的解耦手段。
混合部署中,Prefill与Decode共享同一组设备,一个请求的两个阶段在同一处流转,天然无需跨设备搬移数据。分离部署则把二者拆到不同的资源池中,Prefill池专注于”吞入并处理长prompt”,Decode池专注于”持续吐出token”,两类池子可以按各自负载独立编排。
这是分离部署要解决的首要问题。混合部署下,计算密集的Prefill任务会挤占本就访存密集的Decode任务所需的资源与时间片,导致正在”逐字输出”的请求被突发的大prompt打断,TPOT出现抖动,尾延迟难以控制。分离部署通过物理隔离消除了这种相互干扰:Decode池不受Prefill高峰的冲击,输出节奏更稳定;Prefill池也不必为迁就在线解码而牺牲吞吐。
混合部署被迫让两个阶段共用一套并行配置(并行度、切分方式等),但两阶段的最优并行策略往往不同:Prefill更适合侧重算力利用率的切分,Decode更适合侧重降低访存与通信开销的切分。这种耦合使得任何单一配置都难以同时逼近两个阶段的最优。分离部署允许两阶段各自选择并行策略,从而在全局上更逼近各自的性能拐点。
混合部署中,Prefill与Decode的资源比例在部署时基本固定,难以应对负载的动态变化——长prompt增多时Prefill吃紧,长输出增多时Decode吃紧,二者此消彼长却难以分别扩容。分离部署支持按阶段独立扩缩容:可以在Prefill压力大的时段扩Prefill池,在Decode压力大的时段扩Decode池,资源投放更贴合真实负载画像,弹性更精细。
分离并非没有代价。Prefill阶段产出的KV Cache必须传输到Decode阶段所在设备,才能继续生成。若两个阶段在同一物理设备内不同GPU间流转,可通过设备内高速链路完成;若跨设备部署,则依赖具备低延迟、高带宽能力的高速互联网络。这段传输会引入额外通信开销与端到端延迟,是分离部署必须重点优化的环节——KV Cache越大(长上下文、高并发),传输成本越不可忽视。
混合部署组件少、链路短,部署与排障相对简单。分离部署引入了两个可独立伸缩的资源池,需要额外的调度器来编排Prefill到Decode的流转、做池间负载均衡、处理KV Cache传输与超时重试。可观测性也更复杂,需要分别监控两个阶段的指标并做端到端关联分析。
混合部署在小规模或负载平稳时,因结构简单、无跨节点传输,综合成本可能更低。分离部署在规模化、负载波动大的场景下,通过更精准的资源投放和更稳定的尾延迟,往往能提升整体资源利用率,但要叠加通信开销与更复杂的运维投入。成本优劣取决于规模与负载特征,不能一概而论。
| 对比维度 | PD混合部署 | PD分离部署 |
|---|---|---|
| 部署拓扑 | P与D同设备/同GPU | P与D分属不同资源池 |
| 阶段干扰 | 存在强干扰,TPOT易抖动 | 物理隔离,互不干扰 |
| 并行策略 | 两阶段共用,存在耦合 | 两阶段各自独立优化 |
| 资源分配 | 比例固定,难动态调整 | 按阶段独立扩缩容 |
| 通信开销 | 无跨阶段传输 | 需传输KV Cache,有额外开销 |
| 尾延迟稳定性 | 高并发下较难保证 | 隔离后更稳定 |
| 运维复杂度 | 低,链路短 | 高,需调度与负载均衡 |
| 适用规模 | 小规模/负载平稳 | 规模化/负载波动大 |
| 优化自由度 | 受耦合约束 | TTFT、TPOT可分别逼近最优 |
这是理解KV Cache与分离部署的一个关键细节。原因在于”复用性”:
换言之,K、V是”会被反复读取的累积历史”,Q是”即用即弃的瞬时量”。从维度上看,KV Cache累积的是(历史token数 × 头维度),随生成不断增大;而单步的Q只是(当前token数 × 头维度)的临时张量。缓存Q既不减少重算,又白白占用显存,因此缓存K、V、丢弃Q是唯一合理的选择。这也解释了为什么分离部署中需要传输的正是KV Cache。
从混合部署迁移到分离部署,属于架构级调整,需重点评估:
PD混合部署与PD分离的本质区别,在于是否将计算密集的Prefill与访存密集的Decode物理解耦。混合部署胜在简单、无跨阶段通信,适合小规模与平稳负载;分离部署胜在消除阶段干扰、解耦并行策略、支持独立弹性,能以更稳定的TTFT与TPOT支撑规模化在线服务,代价是KV Cache传输开销与更高的运维复杂度。选型的关键不是判断孰优孰劣,而是回到你的并发规模、请求长度分布、延迟SLO与运维能力,用实测数据在简单性与可控性之间找到最契合的平衡点。