简介:本文围绕大模型推理中的两类核心阶段——计算密集型的Prefill与内存密集型的Decode展开对比,系统分析量化、缓存压缩、算子融合、并行计算、批处理和投机生成等优化方法的原理、收益与边界,帮助开发者根据延迟、吞吐、显存、成本和工程复杂度选择合适方案。
大模型推理优化并不是单一技术,而是围绕不同性能瓶颈展开的一组工程方法。本文重点比较两类推理阶段及其对应的优化思路:
二者都需要完成模型层的前向计算,也都依赖参数、激活值和注意力缓存,但性能瓶颈并不相同。Prefill更像是“批量处理一大段数据”,Decode更像是“反复读取大量数据并生成一个新Token”。
如果不了解这一差异,就可能出现错误优化:例如只提升计算单元利用率,却没有减少Decode阶段的数据搬运;或者一味压缩模型参数,却忽略了长上下文场景中注意力缓存占用。
假设用户输入了一段较长的提示词,Prefill阶段会将这些Token整体送入模型,计算每一层的隐藏状态,并建立后续生成所需的注意力缓存。
它的特点包括:
因此,Prefill阶段更关注:
Decode阶段每次只生成一个或少量Token。新生成的Token需要结合此前上下文的信息,继续执行模型前向计算。
其特点是:
Decode阶段的核心问题通常不是“计算单元不够强”,而是“数据读取和调度效率不够高”。模型参数、缓存和中间数据需要在不同存储层级之间移动,计算单元可能因为等待数据而处于空闲状态。
因此,Decode阶段更关注:
Prefill和Decode都需要完成以下工作:
| 对比维度 | Prefill阶段 | Decode阶段 |
|---|---|---|
| 处理方式 | 批量处理输入Token | 逐步生成输出Token |
| 主要瓶颈 | 计算量和注意力计算 | 参数、缓存读取和调度 |
| 并行度 | 较高 | 较低,存在串行依赖 |
| 典型指标 | 首Token延迟、输入处理吞吐 | 单Token延迟、生成吞吐 |
| 重点优化 | 算子融合、矩阵计算、输入批处理 | 量化、缓存压缩、连续批处理 |
| 显存压力 | 与输入长度和中间激活有关 | 与上下文长度、并发数和缓存有关 |
| 优化风险 | 可能增加计算复杂度或实现复杂度 | 可能影响生成质量、稳定性和调度公平性 |
大模型推理优化可以概括为两条路线:
这类方法的目标是让模型少做一些计算,或者用更低成本的计算完成相同任务。
常见方法包括:
将多个连续操作合并为一个执行单元,减少中间结果写回和重新读取的次数。
例如,归一化、偏置处理和激活函数可能在逻辑上是多个步骤,但在工程实现中可以合并执行。这样做的好处是:
算子融合对Prefill通常比较有效,因为Prefill拥有较大的计算规模。但在Decode阶段,即使单次计算规模较小,减少启动和调度开销也可能带来收益。
传统注意力计算可能需要显式保存较大的中间矩阵,导致显存访问量增加。优化后的注意力实现通常会采用分块计算、片上缓存复用和中间结果延迟写回等方式。
这类方法的本质不是改变模型结构,而是改变数据访问顺序,减少不必要的显存读写。它对长输入的Prefill阶段尤其重要,也能改善Decode阶段对注意力缓存的访问效率。
剪枝可以删除部分参数或计算结构,减少模型规模。结构化剪枝通常比非结构化剪枝更容易获得实际推理收益,因为硬件和底层计算库更容易处理规则的矩阵结构。
不过,剪枝不是简单删除参数即可。需要同时评估:
这类方法不一定减少理论计算量,但会减少参数、缓存和中间数据的读取成本。
量化是最常见的推理优化方法之一。它将高精度参数转换为更低位宽的表示形式,例如从较高精度转换为低精度或整数表示。
量化的直接收益包括:
但量化也存在明显边界:
实际应用中,可以优先对相对不敏感的部分进行量化,对敏感层保留较高精度,从而在性能和质量之间取得平衡。
在Decode阶段,模型需要反复读取历史Token对应的注意力缓存。随着上下文变长,这部分数据可能成为显存占用和带宽消耗的重要来源。
常见思路包括:
缓存压缩的收益主要体现在长上下文和高并发场景。但压缩过度可能导致注意力信息损失,表现为长文本理解能力下降、指代错误增加或生成稳定性变差。
多个请求使用相同模型参数,同时处理不同输入。它适合请求之间相互独立的场景,能够提高整体吞吐。
但数据并行会带来显存复制问题。如果每个计算单元都保存完整模型,资源利用率可能不高,因此需要结合请求规模、模型大小和显存容量进行规划。
将模型的不同层或不同计算部分分布到多个计算单元上。它适合单个模型无法放入单个设备的场景。
模型并行的主要代价是设备之间需要传输中间结果,因此需要关注:
将模型划分为多个阶段,让不同请求在不同阶段同时执行。它可以提高设备利用率,但会引入流水线气泡和调度复杂度。
当请求数量较少、输入输出长度差异较大时,流水线利用率可能下降。因此,不能只看理论并行度,还要结合实际请求分布。
传统批处理往往要等一批请求都准备好,或者等整批请求完成后再处理下一批。连续批处理则可以在某些请求完成后,及时把新请求加入正在运行的批次。
它对Decode阶段特别重要,因为不同请求的输出长度通常不同。动态补充请求可以减少空闲计算,提高整体吞吐。
不过,连续批处理需要解决:
投机生成是一种针对Decode串行瓶颈的优化方法。基本思路是:
它的核心价值在于:目标模型不必严格“一次只生成一个Token”,而是可以批量验证多个候选Token。
这类方法适合:
它的收益并不是固定的,取决于候选Token的接受比例。如果辅助模型质量较低,候选结果频繁被拒绝,就会增加额外计算和调度开销,甚至得不偿失。
因此,投机生成应通过真实业务数据评估,而不能只根据理论流程判断。
| 优化方法 | 主要作用阶段 | 主要收益 | 主要代价 | 更适合的场景 |
|---|---|---|---|---|
| 算子融合 | Prefill、Decode | 减少中间数据读写和调度 | 实现复杂度提高 | 计算链路固定、模型结构稳定 |
| 注意力分块计算 | 主要是Prefill | 降低中间矩阵的显存访问 | 需要底层实现配合 | 长输入、高并行计算 |
| 权重量化 | 两个阶段 | 减少参数存储和读取 | 可能影响精度 | 显存受限、并发较高 |
| 缓存压缩 | 主要是Decode | 降低长上下文显存压力 | 可能损失上下文信息 | 长文本、多轮对话 |
| 连续批处理 | 主要是Decode | 提高并发吞吐和资源利用率 | 调度系统更复杂 | 在线服务、多用户请求 |
| 模型并行 | 两个阶段 | 支持更大模型部署 | 通信成本增加 | 单设备无法容纳模型 |
| 投机生成 | 主要是Decode | 减少串行生成步骤 | 需要辅助模型和验证机制 | 低延迟文本生成 |
| 剪枝与模型轻量化 | 两个阶段 | 降低计算和存储成本 | 需要重新评测质量 | 对模型结构可调整的场景 |
如果用户最在意“提交请求后多久开始返回”,应优先优化Prefill:
此时,单纯优化Decode速度未必能明显改善用户首次等待体验。
如果业务需要生成较长内容,应重点优化Decode:
高并发服务不能只看单请求延迟,还要关注单位时间完成的请求数和Token数。通常需要综合使用:
可以优先考虑:
需要注意,降低显存占用不等于必然提高速度。如果压缩后增加了解码开销,或频繁触发数据转换,实际性能可能不升反降。
优化前应记录至少以下指标:
没有基线,就无法判断优化是真正有效,还是仅仅改变了测试方式。
平均延迟较低,并不代表线上体验稳定。高并发服务更应关注较高分位的延迟,因为排队、缓存分配、设备通信和长请求都会造成尾部抖动。
量化、剪枝、缓存压缩和投机生成都可能影响结果质量。评测不应只看通用准确率,还应覆盖:
例如,某个算子单独测试速度很快,但接入完整链路后可能因为数据格式转换、通信等待或缓存重排而没有收益。因此应进行端到端测试,而不是只看局部算子数据。
任何涉及模型精度、缓存格式、并行拓扑和调度逻辑的改动,都应支持灰度发布、版本切换和快速回滚,避免单次优化影响全部在线请求。
Prefill和Decode虽然都属于模型推理,但优化方向明显不同:
实际选型时,建议按照“先测量、再定位、后优化”的顺序推进:先确认瓶颈发生在计算、显存、通信、缓存还是调度,再选择对应技术。对于百度智能云等云上环境,也应结合实例资源、弹性扩展、监控告警和部署方式进行整体评估,而不是只比较某一项理论峰值。
最终目标不是让某个单点指标看起来更高,而是在可接受的模型质量和工程复杂度下,同时获得更低延迟、更高吞吐、更稳定的服务能力与更合理的长期成本。