Prefill与Decode推理阶段对比

作者:搬砖的石头2026.11.16 10:45浏览量:0

简介:本文对比大语言模型推理中的Prefill与Decode:说明二者如何分工、为何一个偏计算、一个偏带宽,并给出并行度、KV缓存、时延与吞吐的选型依据,帮助读者判断服务配置与优化重点。

对比背景

大语言模型一次完整回答,并不是单一、均匀的计算过程。用户提交一段提示后,模型要先理解已经给定的全部上下文,再按自回归方式逐个产出新词元。工程上通常把这两段工作称为Prefill(预填充)与Decode(解码)。

把它们放在一起比较,是因为线上服务的延迟、吞吐、显存占用和调度策略,几乎都由这两个阶段的不同瓶颈决定。只看“模型有多大”或“上下文有多长”,无法解释为什么首词元等待时间长、后续生成却显得“一个字一个字挤出来”,也无法判断该优先加计算单元、扩大缓存,还是调整批大小。

本文对比的对象就是同一次推理内部的两个阶段:Prefill负责读入并并行处理已知词元,Decode负责在历史状态之上串行生成新词元。二者共享同一套模型权重与注意力机制,但输入形态、并行度和资源瓶颈不同。

对象定义

Prefill在解决什么问题

假设提示长度为n。Prefill把这n个词元作为一批已知输入送入各层。对某一层注意力而言,模型由输入得到查询、键、值,再在因果掩码约束下计算每个位置对自身及更早位置的汇总表示。因果掩码保证位置i不能看到i之后的内容,从而与自回归生成的条件概率一致。

因为这n个位置在进入本阶段时已经全部确定,注意力分数矩阵和各层线性变换都可以做成大规模矩阵运算,硬件的并行计算单元能够同时铺开。各层算出的键和值会被写入KV缓存;最后一个位置的隐藏状态用于预测第一个新词元。Prefill结束的标志,通常就是“首个新词元已经可采样”,同时历史上下文的缓存已经就绪。

Decode在解决什么问题

Decode从第t个新词元开始。此时模型不再重算整段历史的查询,只需为当前位置计算查询、键、值,把新的键、值接到已有KV缓存上,再让当前查询对“历史缓存加自身”做注意力。得到当前隐藏状态后,采样或贪心得到下一个词元,并把本步新产生的键、值写回缓存,供下一步使用。

下一步的输入依赖于本步结果,因此不能像Prefill那样预先摆出未来多个位置一起算(在标准自回归、且未采用投机生成等额外机制时)。注意力相关的有效矩阵从Prefill的n乘n,变成当前步的1乘当前序列长度。

相同点

两者不是两套模型,而是同一前向计算在不同输入条件下的两种调度。

  • 模型结构相同:同一套嵌入、层归一化、注意力、前馈网络和输出头。
  • 因果约束相同:无论一次处理多个已知词元,还是一次只处理一个新词元,每个位置都只能依赖自身及之前的信息。
  • 状态连续:Prefill写入的KV缓存是Decode的起点;Decode每步把新的键、值追加进去,序列语义保持一致。
  • 数值目标一致:都是在估计下一个词元的条件分布,差别在于条件中哪些词元已经给定、哪些必须边生成边确定。
  • 资源共享:权重通常常驻加速器内存;KV缓存随序列增长,两阶段都要读权重,也都要读写缓存。

因此,优化时不能把某一阶段单独“换一套不兼容的注意力定义”。可以改变的是批处理、缓存布局、算子融合和调度,而不是因果语言模型的基本生成逻辑。

核心差异

计算形态与并行度

Prefill的查询、键、值都来自长度为n的矩阵,注意力分数是n乘n(再被掩码成下三角意义下的有效区域)。线性层同样是对n个位置同时做矩阵乘。序列越长,可并行的乘加量越大,但也更容易在注意力的二次项上放大计算和中间结果。

Decode每步只有一个新位置(或在批处理时是“批内每个序列各一个新位置”)。单序列的注意力分数只有1乘t,t为当前总长度。步骤之间存在数据依赖:第t步的词元不确定,第t+1步的输入就不存在。所以Decode的并行主要来自批内不同请求、模型内部的张量并行或流水,而不是沿生成方向把很多未来词元一次算完。

瓶颈:计算密集与带宽密集

Prefill中,大矩阵乘的算术强度高,加速器更容易吃满计算单元,因此常被归为计算密集型。提示很长、隐藏维度大、批次里长提示较多时,这个特征更明显。此时缩短首词元时间,往往要看算力、算子是否融合、注意力实现是否避免不必要的中间物化,而不是单纯加大内存带宽。

Decode每步算量相对小,却要反复把全部(或大部分)权重从内存读进计算单元,还要按序列长度读取历史KV。当批很小、生成步很多时,计算单元经常在等数据,阶段整体受内存带宽限制。加大批大小可以提高每次读权重所分摊的有效计算,从而改善带宽利用率;但批变大也会增加KV占用和排队延迟,不能无限加大。

时延体验

用户感知通常拆成两段:

  • 首词元时延:主要由排队加上Prefill决定。长提示、长系统说明、多轮历史被完整拼进上下文时,Prefill变重,首字变慢。
  • 生成时延与吐字速度:由每步Decode决定。单步计算少,但步数等于要生成的词元数;缓存变长后,每步读缓存的代价上升,后半段可能比前半段更慢。

所以“回答开始得慢”和“开始之后不够顺”往往不是同一个瓶颈。前者优先看Prefill与调度排队,后者优先看Decode的带宽、批策略和缓存增长。

显存与缓存

权重在两阶段共享,量级由参数规模和精度决定,不随对话变长而线性增加。KV缓存则近似与层数、头维度、序列长度、并发序列数成正比。Prefill结束时缓存已经覆盖整段提示;Decode每生成一个词元就追加一段。上下文窗口用得越满、并发越高,缓存越容易先于算力成为上限。

缓存布局也影响Decode更明显:步长为1时,零散读写更容易浪费带宽。把同一层、同一批的键值排布成连续访问,通常比改写模型结构更能改善小步长阶段。具体布局属于实现选择,这里不假定某一种专有接口。

批处理方式不同

Prefill适合把多个已就绪的提示组到一起,但长度参差会带来填充,短请求会被长请求拖住计算时间。Decode适合把“都处于生成中”的序列组成批次,每步一起前向;难点是各序列结束时间不同,批次要动态加入和退出,否则已结束序列会空占位置,或新请求迟迟进不了批次。

一个常见工程取舍是:不要让超长Prefill独占设备太久,否则正在Decode的会话吐字卡顿;也不要为了极致首字速度把Decode批次拆得过小,否则带宽利用率下降、整体吞吐变差。

对比表

维度 Prefill Decode
输入 长度为n的已知词元 当前1个新词元,外加历史缓存
注意力规模 约n乘n,受因果掩码约束 约1乘当前长度
并行性 位置之间可并行 生成步之间串行,并行主要来自批次与模型切分
典型瓶颈 计算密集 小批量时偏内存带宽
缓存 建缓存并写出全部历史键值 每步追加键值并反复读取
用户体验 决定首词元等待 决定持续吐字速度
对批大小 长提示填充与互相阻塞更敏感 大批次更有利于摊薄读权重成本
序列变长 提示越长,二次项注意力越重 生成越长,每步读缓存越重

示意流程

下面用伪代码表示阶段关系,不对应任何具体框架接口。

  1. # 已知提示 tokens[1..n]
  2. state = prefill(tokens[1..n]) # 并行计算各位置,写入 KV
  3. y = sample(state.last_logits) # 第一个新词元
  4. while not stop(y) and len(sequence) < limit:
  5. state = decode_one(y, state.kv) # 只算当前位置,拼接缓存
  6. y = sample(state.logits)

Prefill内部的注意力,可理解为对整个提示矩阵做一次带掩码的汇总;Decode内部则是用当前查询去点积已经存下的键,再对值做加权。掩码在Prefill里显式限制未来位置;Decode因为还没有未来词元,自然只看缓存和自身。

典型场景怎么看

  • 检索增强或长文档问答:提示远长于回答。时间大头常在Prefill,首字慢是主要矛盾。宜控制拼入上下文的长度,避免把低相关片段全部塞进窗口;服务侧要保证长提示不会把所有设备打满,使其他会话无法Decode。
  • 闲聊、短问短答:提示短、生成长度中等。Prefill很轻,体验取决于Decode步频和并发。小批量时继续堆算力,收益可能不如提高批次内序列数或改善缓存读写。
  • 长文生成、多轮续写:缓存随轮次累积,Decode越来越像“读一段很长的历史”。需要限制最大生成长度、做会话截断或摘要,否则缓存和带宽一起上涨。
  • 高并发在线服务:同时存在刚进入的Prefill和已经在生成的Decode。调度目标通常是同时守住首字时延和吐字间隔,而不是把某一阶段的利用率单独拉到极端。
  • 离线批量标注或评测:更在意总吞吐。可以把多个提示的Prefill合并,并用较大的Decode批次摊薄读权重;单条请求的排队变长可以接受。

选型与配置建议

这里的“选型”不是在两个阶段里只留一个,而是决定服务把资源和分析重点放在哪一侧。

若业务指标是交互式首字时间,且提示经常很长,应优先缩短Prefill路径:减少无效上下文、避免过深的串行前后处理、让矩阵算子吃满计算单元,并为长请求单独限制占用时长,防止堵死整机。若指标是每秒生成词元数,且提示不长、并发上来之后设备仍显得“算不满”,应优先看Decode是否带宽受限:适当增大同时生成的序列数、检查缓存是否连续可读、避免每步都做过重的宿主与设备之间拷贝。

批大小没有普适最优值。过小则Decode反复读权重;过大则KV占用上升、排队变长,长提示Prefill的填充浪费也更严重。应以目标时延为约束,再提高吞吐。精度格式会影响权重与缓存体积,从而同时改变计算量和带宽压力,但改变精度必须单独验证任务效果,不能只看速度。

多卡或切分只是扩大边界:张量切分能分担单层矩阵,流水切分能把层摊到不同设备,但通信本身会占用带宽和时间。序列不长、批次又小时,通信和启动开销可能盖过计算收益,Decode尤其容易出现“切分之后单步更慢”。是否切分应看单机是否已经放不下权重加峰值缓存,而不是默认切得越碎越好。

使用边界与风险

  • 不要用总参数量直接换算时延。同样的模型,短提示加长生成,与长提示加短生成,瓶颈阶段相反。
  • 缓存容量要按“并发乘最大序列长度”估算,而不是按平均提示长度。峰值并发或少数超长会话会先触发内存不足。
  • 动态批处理要处理长度对齐、提前结束和中途取消。取消后若不释放缓存,显存会泄漏式增长。
  • 只优化首字而把Decode批次压到1,在线吞吐会明显变差;只追求大批次而让长Prefill无限占用设备,交互会出现周期性卡顿。
  • 任何融合算子、缓存压缩或非标准注意力,都必须与标准因果前向对齐抽查,避免为速度破坏生成分布。本文不引入未经通用定义的专有参数。
  • 若业务部署在百度智能云一类的云上加速资源上,仍应先分清请求是Prefill主导还是Decode主导,再选择实例规格与并发上限;云上弹性只能缓解容量,不能消除两阶段本身的计算与带宽差异。

迁移或扩容时,建议保留分阶段指标:Prefill耗时、Decode单步耗时、缓存占用、批内有效序列数、排队时间。只看端到端平均时延,会把长提示拖慢和生成变慢混在一起,导致扩容方向错误。切换实现或精度后,用同一批固定提示与固定生成长度做对照,分别记录两阶段,再决定是否推广。

总结

Prefill与Decode共享模型与因果注意力,分工却清楚:前者一次并行消化已知上下文,建立KV缓存并产生首个新词元,通常计算更重;后者依赖上一步结果逐词元延伸,单步计算少,却反复读取权重和不断变长的缓存,小批量时更受带宽限制。选型时先看提示长度、生成长度和并发,再决定优化首字、优化吐字,还是两者用调度隔离开。条件说清楚之后,阶段差异本身就是容量规划的依据,而不必把任何一个阶段当成始终更优的方案。