简介:本文对比大语言模型推理中的Prefill与Decode:说明二者如何分工、为何一个偏计算、一个偏带宽,并给出并行度、KV缓存、时延与吞吐的选型依据,帮助读者判断服务配置与优化重点。
大语言模型一次完整回答,并不是单一、均匀的计算过程。用户提交一段提示后,模型要先理解已经给定的全部上下文,再按自回归方式逐个产出新词元。工程上通常把这两段工作称为Prefill(预填充)与Decode(解码)。
把它们放在一起比较,是因为线上服务的延迟、吞吐、显存占用和调度策略,几乎都由这两个阶段的不同瓶颈决定。只看“模型有多大”或“上下文有多长”,无法解释为什么首词元等待时间长、后续生成却显得“一个字一个字挤出来”,也无法判断该优先加计算单元、扩大缓存,还是调整批大小。
本文对比的对象就是同一次推理内部的两个阶段:Prefill负责读入并并行处理已知词元,Decode负责在历史状态之上串行生成新词元。二者共享同一套模型权重与注意力机制,但输入形态、并行度和资源瓶颈不同。
假设提示长度为n。Prefill把这n个词元作为一批已知输入送入各层。对某一层注意力而言,模型由输入得到查询、键、值,再在因果掩码约束下计算每个位置对自身及更早位置的汇总表示。因果掩码保证位置i不能看到i之后的内容,从而与自回归生成的条件概率一致。
因为这n个位置在进入本阶段时已经全部确定,注意力分数矩阵和各层线性变换都可以做成大规模矩阵运算,硬件的并行计算单元能够同时铺开。各层算出的键和值会被写入KV缓存;最后一个位置的隐藏状态用于预测第一个新词元。Prefill结束的标志,通常就是“首个新词元已经可采样”,同时历史上下文的缓存已经就绪。
Decode从第t个新词元开始。此时模型不再重算整段历史的查询,只需为当前位置计算查询、键、值,把新的键、值接到已有KV缓存上,再让当前查询对“历史缓存加自身”做注意力。得到当前隐藏状态后,采样或贪心得到下一个词元,并把本步新产生的键、值写回缓存,供下一步使用。
下一步的输入依赖于本步结果,因此不能像Prefill那样预先摆出未来多个位置一起算(在标准自回归、且未采用投机生成等额外机制时)。注意力相关的有效矩阵从Prefill的n乘n,变成当前步的1乘当前序列长度。
两者不是两套模型,而是同一前向计算在不同输入条件下的两种调度。
因此,优化时不能把某一阶段单独“换一套不兼容的注意力定义”。可以改变的是批处理、缓存布局、算子融合和调度,而不是因果语言模型的基本生成逻辑。
Prefill的查询、键、值都来自长度为n的矩阵,注意力分数是n乘n(再被掩码成下三角意义下的有效区域)。线性层同样是对n个位置同时做矩阵乘。序列越长,可并行的乘加量越大,但也更容易在注意力的二次项上放大计算和中间结果。
Decode每步只有一个新位置(或在批处理时是“批内每个序列各一个新位置”)。单序列的注意力分数只有1乘t,t为当前总长度。步骤之间存在数据依赖:第t步的词元不确定,第t+1步的输入就不存在。所以Decode的并行主要来自批内不同请求、模型内部的张量并行或流水,而不是沿生成方向把很多未来词元一次算完。
Prefill中,大矩阵乘的算术强度高,加速器更容易吃满计算单元,因此常被归为计算密集型。提示很长、隐藏维度大、批次里长提示较多时,这个特征更明显。此时缩短首词元时间,往往要看算力、算子是否融合、注意力实现是否避免不必要的中间物化,而不是单纯加大内存带宽。
Decode每步算量相对小,却要反复把全部(或大部分)权重从内存读进计算单元,还要按序列长度读取历史KV。当批很小、生成步很多时,计算单元经常在等数据,阶段整体受内存带宽限制。加大批大小可以提高每次读权重所分摊的有效计算,从而改善带宽利用率;但批变大也会增加KV占用和排队延迟,不能无限加大。
用户感知通常拆成两段:
所以“回答开始得慢”和“开始之后不够顺”往往不是同一个瓶颈。前者优先看Prefill与调度排队,后者优先看Decode的带宽、批策略和缓存增长。
权重在两阶段共享,量级由参数规模和精度决定,不随对话变长而线性增加。KV缓存则近似与层数、头维度、序列长度、并发序列数成正比。Prefill结束时缓存已经覆盖整段提示;Decode每生成一个词元就追加一段。上下文窗口用得越满、并发越高,缓存越容易先于算力成为上限。
缓存布局也影响Decode更明显:步长为1时,零散读写更容易浪费带宽。把同一层、同一批的键值排布成连续访问,通常比改写模型结构更能改善小步长阶段。具体布局属于实现选择,这里不假定某一种专有接口。
Prefill适合把多个已就绪的提示组到一起,但长度参差会带来填充,短请求会被长请求拖住计算时间。Decode适合把“都处于生成中”的序列组成批次,每步一起前向;难点是各序列结束时间不同,批次要动态加入和退出,否则已结束序列会空占位置,或新请求迟迟进不了批次。
一个常见工程取舍是:不要让超长Prefill独占设备太久,否则正在Decode的会话吐字卡顿;也不要为了极致首字速度把Decode批次拆得过小,否则带宽利用率下降、整体吞吐变差。
| 维度 | Prefill | Decode |
|---|---|---|
| 输入 | 长度为n的已知词元 | 当前1个新词元,外加历史缓存 |
| 注意力规模 | 约n乘n,受因果掩码约束 | 约1乘当前长度 |
| 并行性 | 位置之间可并行 | 生成步之间串行,并行主要来自批次与模型切分 |
| 典型瓶颈 | 计算密集 | 小批量时偏内存带宽 |
| 缓存 | 建缓存并写出全部历史键值 | 每步追加键值并反复读取 |
| 用户体验 | 决定首词元等待 | 决定持续吐字速度 |
| 对批大小 | 长提示填充与互相阻塞更敏感 | 大批次更有利于摊薄读权重成本 |
| 序列变长 | 提示越长,二次项注意力越重 | 生成越长,每步读缓存越重 |
下面用伪代码表示阶段关系,不对应任何具体框架接口。
# 已知提示 tokens[1..n]state = prefill(tokens[1..n]) # 并行计算各位置,写入 KVy = sample(state.last_logits) # 第一个新词元while not stop(y) and len(sequence) < limit:state = decode_one(y, state.kv) # 只算当前位置,拼接缓存y = sample(state.logits)
Prefill内部的注意力,可理解为对整个提示矩阵做一次带掩码的汇总;Decode内部则是用当前查询去点积已经存下的键,再对值做加权。掩码在Prefill里显式限制未来位置;Decode因为还没有未来词元,自然只看缓存和自身。
这里的“选型”不是在两个阶段里只留一个,而是决定服务把资源和分析重点放在哪一侧。
若业务指标是交互式首字时间,且提示经常很长,应优先缩短Prefill路径:减少无效上下文、避免过深的串行前后处理、让矩阵算子吃满计算单元,并为长请求单独限制占用时长,防止堵死整机。若指标是每秒生成词元数,且提示不长、并发上来之后设备仍显得“算不满”,应优先看Decode是否带宽受限:适当增大同时生成的序列数、检查缓存是否连续可读、避免每步都做过重的宿主与设备之间拷贝。
批大小没有普适最优值。过小则Decode反复读权重;过大则KV占用上升、排队变长,长提示Prefill的填充浪费也更严重。应以目标时延为约束,再提高吞吐。精度格式会影响权重与缓存体积,从而同时改变计算量和带宽压力,但改变精度必须单独验证任务效果,不能只看速度。
多卡或切分只是扩大边界:张量切分能分担单层矩阵,流水切分能把层摊到不同设备,但通信本身会占用带宽和时间。序列不长、批次又小时,通信和启动开销可能盖过计算收益,Decode尤其容易出现“切分之后单步更慢”。是否切分应看单机是否已经放不下权重加峰值缓存,而不是默认切得越碎越好。
迁移或扩容时,建议保留分阶段指标:Prefill耗时、Decode单步耗时、缓存占用、批内有效序列数、排队时间。只看端到端平均时延,会把长提示拖慢和生成变慢混在一起,导致扩容方向错误。切换实现或精度后,用同一批固定提示与固定生成长度做对照,分别记录两阶段,再决定是否推广。
Prefill与Decode共享模型与因果注意力,分工却清楚:前者一次并行消化已知上下文,建立KV缓存并产生首个新词元,通常计算更重;后者依赖上一步结果逐词元延伸,单步计算少,却反复读取权重和不断变长的缓存,小批量时更受带宽限制。选型时先看提示长度、生成长度和并发,再决定优化首字、优化吐字,还是两者用调度隔离开。条件说清楚之后,阶段差异本身就是容量规划的依据,而不必把任何一个阶段当成始终更优的方案。