简介：大语言模型的“读”与“写”对硬件资源需求差异巨大。本文从评测视角拆解预填充与解码两个阶段的性能瓶颈，围绕计算密度、显存带宽、量化敏感度、延迟与吞吐等维度，分析为何预填充与解码应采用不同的量化策略，并给出可落地的评测方法、验证流程与选型建议，帮助架构师和工程团队避免用同一套量化方案覆盖两种完全不同的工作负载。
大语言模型在推理时并非只有一种工作状态。它接收提示词并理解上下文的过程，与它逐字生成回答的过程，在计算特征、内存访问模式和硬件瓶颈上存在本质差异。技术社区通常将前者称为预填充阶段，将后者称为解码阶段。本文要评测的并不是某一款具体模型或推理框架，而是一个更基础的问题：当这两个阶段对硬件资源的需求完全不同时，我们是否应该用不同的量化方式分别处理它们？
这个问题的来源是一篇关于“解耦量化”的研究工作。该工作指出，既然预填充阶段是计算密集型、解码阶段是内存密集型，那么传统上一套量化方案同时覆盖两个阶段的做法，可能并不是最优解。本文将以这个技术方向为评测对象，围绕量化策略的差异化设计，建立一套可观察、可验证、可解释的评测框架。
本文适合以下读者：负责大模型推理部署的架构师、关注推理成本与延迟优化的工程团队、设计模型压缩方案的算法工程师，以及需要根据业务负载选择推理方案的技术负责人。通过本文，读者可以获得的不是“哪个量化方案最好”的绝对结论，而是一套系统化的评测方法，用于判断在自身业务场景下，是否应该采用分离式量化策略，以及如何验证这种策略是否真的有效。
需要强调的是，本文不会给出具体的性能数字或排名结果，也不会指向任何特定云厂商或推理产品。本文关注的是通用评测逻辑：如何验证一种技术方案是否匹配目标工作负载的真实特征。
要评测分离式量化策略是否合理，首先需要明确预填充和解码这两个阶段到底在做什么，以及它们对硬件的需求为何不同。
大语言模型推理的每一层都会执行矩阵乘法运算。权重参数需要先从显存搬运到计算单元，然后才与输入数据进行乘法计算。这个“先搬运、再计算”的顺序，在两个阶段中是完全一样的，但输入数据的规模和计算量却差异极大。
预填充阶段：模型一次性读取用户输入的完整提示词。假设提示词包含数千个词元，这些词元会被同时处理。权重搬运只进行一次，但计算要针对全部输入词元展开。因此这一阶段的总计算量很大，搬运权重的开销被大量计算分摊。它的瓶颈在计算单元的处理能力上，属于计算密集型负载。
解码阶段：模型每次只生成一个词元。此时输入数据规模极小，但权重仍然需要完整地搬运一次。于是，计算量很小，数据搬运量却不变。解码阶段的瓶颈从计算单元转移到了显存带宽上，属于内存密集型负载。
量化是通过降低权重或激活值的数值精度来压缩模型的方法。它可以减少显存占用、降低搬运算量，但可能引入精度损失。传统做法是对预填充和解码应用同一套量化配置，例如统一使用某种低比特权重表示。这种做法的假设是：两个阶段的精度需求是相似的。
但事实可能并非如此。预填充阶段计算密度高，对计算吞吐敏感，量化带来的计算加速潜力值得重点关注；解码阶段则对带宽极其敏感，量化减少的权重体积直接转化为更少的数据搬运时间。更重要的是，两个阶段对精度损失的容忍程度可能也不同——解码逐字生成的错误传播风险，与预填充批量处理中的误差累积模式，并不必然是同一回事。
因此，本文评测的核心对象是：预填充与解码采用不同量化策略时，能否在精度损失可控的前提下，获得比统一量化更好的综合表现。
本次评测重点验证以下问题：
采用以下维度进行系统评测：
| 维度 | 评测要点 | 观察方式 |
|---|---|---|
| 计算吞吐 | 预填充阶段单位时间内可处理的词元量 | 固定输入长度，记录处理完成时间和计算资源占用 |
| 显存带宽占用 | 解码阶段搬运权重的实际数据量 | 监控解码迭代间显存读写流量 |
| 权重体积 | 不同量化方案下模型权重占用 | 对比加载后的显存占用差异 |
| 输出质量 | 生成的文本是否保持语义连贯性 | 构建标准提示词集，人工或自动评估输出质量 |
| 错误传播 | 解码早期误差是否被后续步骤放大 | 设计中间状态检查与对比实验 |
| 切换开销 | 预填充与解码使用不同量化格式时，中间表示转换的额外成本 | 测量格式转换延迟与显存峰值 |
| 扩展性 | 在不同序列长度、不同批大小下表现是否稳定 | 分层压测，观察性能曲线变化 |
| 运维复杂度 | 两套配置的管理、调试与监控成本 | 记录部署、排查、升级所需人工步骤 |
这些维度不是孤立的。例如，计算吞吐提升很可能以输出质量下降为代价，需要在评测中同时观察，而不是只盯住某一个指标。
在开始评测前，需要明确以下环境条件，以保证结果可复现、结论有边界。
模型规模：建议覆盖不同参数规模的模型，例如从数十亿参数到数百亿参数区间。小模型对大模型的行为特征不一定具有代表性。
输入长度分布：预填充的计算量随输入长度线性或超线性增长，解码阶段则几乎不受输入长度直接影响。测试样本应覆盖短提示、中等提示和长上下文输入。
批大小：解码头通常批大小为一，但某些服务场景会做动态批处理。评测时需要明确是否涉及批解码。
硬件配置：显存容量、带宽、计算单元规格直接影响两个阶段的瓶颈位置。相同方案在不同硬件上的结论可能不同。
量化位宽：分别测试4比特、8比特以及混合精度配置。不建议在评测中使用过细的位宽分级，以免样本过多导致结论模糊。
测试数据：准备通用性的文本生成任务样本，例如问答、摘要、文本续写。避免使用可能引入领域偏差的单一数据集。
边界条件：明确评测的时间长度、请求频率和并发范围。长时间运行测试有助于观察显存碎片化、缓存命中率变化等隐藏问题。
先用一套统一的量化方案作为基线，记录预填充和解码两个阶段的延迟、吞吐、显存占用和输出质量。基线的意义在于提供对照，而不是为了证明谁更差。
将推理过程拆开，分别记录预填充和解码的时间分布。可以通过在模型前向过程中插入时间标记来实现。通用做法是在每层或每个关键算子前后记录时间戳，汇总后得出两阶段的耗时占比。
示意性伪代码如下：
start_prefill = now()prefill_output = model.forward(input_tokens, mode="prefill")end_prefill = now()start_decode = now()decode_output = model.forward(prefill_output, mode="decode")end_decode = now()record("prefill_time", end_prefill - start_prefill)record("decode_time", end_decode - start_decode)
这个简单的测量可以帮助确认：在目标工作负载下，瓶颈究竟在哪个阶段。如果解码耗时占比很高，说明分离式量化的潜在收益空间较大；如果预填充占据绝大部分时间，则计算优化应优先考虑。
设计至少三组对照：
对于方案C，需要特别验证格式转换的成本。如果预填充输出需要从低精度表示转换为解码阶段的高精度表示，这个转换过程本身会引入延迟和显存峰值。评测时应单独记录转换耗时。
输出质量不能只看“是否通顺”。建议从以下几个角度观察：
评测人员可以准备一组固定提示词，对不同方案下的生成结果进行盲评。自动化指标可以作为参考，但不建议作为唯一依据。
解码阶段是典型的自回归过程，每一步的输出都会作为下一步的输入。因此，解码早期的较小误差可能被逐轮放大。评测时可以在解码中间步骤注入扰动，观察后续生成是否出现明显偏离。这种测试有助于判断解码阶段对精度损失的敏感程度是否高于预填充阶段。
在整个测试周期内持续记录计算单元利用率、显存带宽利用率、显存占用量和温度/功耗表现。单一时刻的指标不足以说明问题，应观察长时间运行下的变化趋势。特别要关注在预填充与解码切换时，是否出现显存使用峰值或短期带宽争抢。
评测结果需要结合技术原因进行解释，而不是只看数字高低。
如果观察到以下现象，可以作为支持分离式量化的证据：
反之，如果存在以下现象，则不建议急于采用分离式量化：
分离式量化策略并不适用于所有场景。以下分析几种典型场景下的关注重点。
长上下文输入场景：例如文档问答、代码库理解等。预填充阶段处理大量输入词元，计算量大，权重搬运相对占比低，适合侧重计算加速的量化策略。解码阶段若不涉及复杂推理，输出质量要求中等，可以采用相对激进的低精度配置。
实时对话场景：用户对首个词元延迟敏感。预填充与解码都有严格的延迟约束。此时量化方案不仅要考虑吞吐，还要考虑切换开销和尾延迟表现。
批量离线处理场景：输入数据量大、任务可以排队处理。计算吞吐是核心指标，输出质量可作为批量抽检项目。此时分离式量化的收益主要来自预填充阶段的计算加速。
高精度生成场景：例如法律文书、医疗记录辅助生成等。解码阶段的输出质量极为重要，不宜过度压缩精度。此时应优先保证解码端精度，预填充端可依据计算压力适度优化。
任何评测都存在边界，分离式量化策略同样不能无条件推广。
样本偏差风险：如果测试提示词分布较窄，例如全部来自某一类任务，得出的输出质量结论可能不适用于其他任务类型。建议使用多领域样本，并记录每个领域独立的结果。
硬件差异问题：不同硬件平台的显存带宽与计算能力比值不同。一个平台上的结论迁移到另一平台时，瓶颈位置可能发生变化，需要重新评测。
长时运行不确定性：显存碎片化、驱动调度策略变化、缓存命中率波动等因素可能在长时间运行后显现。短时间评测无法完全暴露这些问题。
量化格式切换的工程复杂度：两套格式并存意味着需要维护更复杂的推理链路。模型更新、配置变更和故障排查的难度都会增加，这部分成本应在选型阶段就被纳入评估。
质量评估的自动化局限：自动评估指标与真实用户体验之间可能不一致。在条件允许时，应引入人工评估或用户反馈机制作为补充。
基于上述评测逻辑，给出以下条件化建议：
如果目标工作负载中解码阶段耗时占总推理耗时的比例较高，且显存带宽利用率长期处于高位，那么值得投入资源验证分离式量化方案。首先从权重位宽分离开始，而非同时调整多种精度设置，以便准确定位收益来源。
如果输出质量是第一优先级，建议解码端保持更高精度，预填充端可以在不影响最终输出的前提下尝试更大幅度的压缩。验证过程中应重点关注中间表示转换的开销，确保其不会抵消失去的优化收益。
如果团队规模较小、运维能力有限，枚举两套配置的复杂度可能超过收益。此时可以考虑先优化更集中的瓶颈阶段，而不是同时引入两种量化格式。
如果用统一量化方案已经能够满足延迟和成本目标，就没有必要为了“分离”而引入额外复杂度。分离式量化是一种优化手段，不是目的。
预填充与解码的差异，来源于大语言模型推理链路中计算与数据搬运的天然不对称。预填充阶段把权重搬运成本摊薄到大量输入词元上，瓶颈在计算；解码阶段每个词元都要完整搬运权重，瓶颈在带宽。传统上同一套量化方案同时覆盖两个阶段的做法，忽略了这种结构性差异。
本文从评测视角出发，明确了分离式量化策略需要验证的关键问题，设计了覆盖功能、性能、精度、稳定性、扩展性和运维复杂度的评测维度，并给出了建立基线、分阶段观测、分流测试、质量验证和资源监控的具体方法。评测结论应当是条件化的：分离式量化在解码瓶颈明显、质量敏感度差异清晰的场景下具有实际价值，但需要同时评估格式切换成本和工程运维复杂度。
对于正在考虑模型推理优化的团队来说，最有价值的做法不是直接套用某一个结论，而是建立一套能持续观察自身工作负载特征的评测机制。只有当测量数据清楚地指向某一阶段成为主要瓶颈时，针对该阶段的差异化优化才真正站得住脚。