大模型预填充与解码量化评测：拆开“读”与“写”是否值得

一、评测概述：为什么要单独评测“解耦量化”

大语言模型推理过程中存在两个性质截然不同的阶段：预填充（prefill）阶段负责一次性读入用户提示词并完成前向计算，解码（decode）阶段则逐词生成输出。前者是计算密集型，后者是内存带宽密集型。这一差异并非实现细节，而是直接决定了量化策略的设计取向——对权重和激活做压缩时，如果对两个阶段采用同一套量化配置，很可能在某一侧过度牺牲精度，或在另一侧无法获得预期的带宽收益。

所谓“解耦量化”（Disaggregated Quantization），核心思路是承认两个阶段的资源画像不同，因而为预填充与解码分别设计量化方案，而不是用一套参数打天下。本文要评测的正是这一技术思路：它解决什么问题、在哪些维度上可以验证、结果如何解读、适合哪些场景、存在哪些边界。

本文面向的读者包括推理服务开发者、系统架构师、技术负责人和运维工程师。需要强调的是，本文不提供具体产品的性能排名或数值结论，而是建立一套可复用的评测框架——因为“解耦量化好不好”这个问题，必须结合模型规模、硬件配置、并发模型、精度容忍度和业务SLA来回答，脱离场景的绝对判断没有意义。

二、评测目标：本次评测要回答的问题

评测目标决定了测试设计的边界。围绕解耦量化，本次评测聚焦以下五个问题：

1. 阶段识别是否准确：预填充与解码在目标硬件上的瓶颈是否确实分别落在算力与内存带宽上，量化方案是否针对瓶颈生效。
2. 精度损失是否可控：分别量化后，预填充侧的输出质量与解码侧的生成质量是否仍在业务可接受范围内，是否存在某一侧精度退化被另一侧掩盖的情况。
3. 性能收益是否可归因：观察到的时间或吞吐变化，能否归因于量化策略本身，而非缓存命中、批处理调度或硬件频率波动。
4. 稳定性是否一致：长时间运行、变长输入、异常提示词条件下，两套量化配置是否引入不一致的数值行为或错误率上升。
5. 工程复杂度是否可接受：维护两套量化配置、两套校准流程和两条验证链路，带来的运维与迭代成本是否与收益匹配。

这五个问题分别对应功能有效性、准确性、性能、稳定性和可维护性，构成本文评测维度设计的基础。

三、评测对象说明：解耦量化到底在拆什么

理解评测对象，需要先回到模型每层的运算本质：矩阵乘法。计算单元需要先把权重从显存搬运到计算单元附近，再与输入数据相乘。预填充阶段一次处理数千个token，权重搬运一次却被大量数据复用，搬运成本被摊薄，瓶颈在算力；解码阶段每步只处理一个token（批大小为一时），权重仍需完整搬运一遍，运算量极小，瓶颈在带宽。

量化在这两个阶段的作用机制因此不同：

• 预填充侧：量化主要降低计算精度需求、提升算力利用效率，同时压缩权重体积以加快首次加载。由于数据复用率高，量化误差会在大量token上累积，对激活量化的精度要求更敏感。
• 解码侧：量化主要减少每步权重搬运的字节数，直接作用于带宽瓶颈。由于每步运算量小，量化带来的反量化开销占比可能上升，需要评估“省下的带宽”是否被“增加的计算”抵消。

解耦量化的技术主张是：为两阶段分别选择量化位宽、粒度和校准策略，例如预填充侧采用更激进的激活量化以提升算力效率，解码侧采用权重-only量化以规避反量化开销。评测时必须分别验证两侧的收益，而不能只看端到端总吞吐——端到端指标可能掩盖某一侧的退化。

四、评测维度设计

围绕评测目标，建立如下维度框架。每个维度都给出“为什么重要”和“如何验证”，避免只罗列指标名称。

维度	关注点	验证方式	结果解读要点
功能完整性	两阶段量化配置是否均能正确加载与切换	配置加载测试、阶段切换测试	切换是否幂等、是否有配置冲突
准确性	预填充输出与解码生成的质量退化	困惑度对比、任务准确率对比、人工抽检	分阶段归因，避免互相掩盖
性能表现	首token延迟、解码吞吐、显存占用	控制变量压测、分阶段计时	收益需归因到带宽或算力
稳定性	长时运行、变长输入、异常输入	长稳压测、边界输入测试	是否出现数值异常或错误率漂移
易用性	配置复杂度、校准流程、调试便利性	接入流程记录、人工操作计时	双配置带来的额外工作量
兼容性	与现有推理框架、调度策略的适配	集成测试、批处理策略验证	动态批处理下是否仍成立
安全性	量化产物与配置的访问控制	权限与审计检查	配置泄露或篡改风险
可观测性	分阶段指标是否可采集	日志与指标检查	能否区分两阶段的性能数据
可维护性	双配置的版本管理与回归成本	升级演练、回归测试记录	长期迭代负担
成本结构	显存节省、算力效率、人力投入	资源账单对比、工时统计	收益与运维成本是否匹配

需要特别说明准确性维度的评测方法：不能只比较端到端生成结果，因为解码侧的质量退化可能被预填充侧的稳定表现稀释。应构造“固定预填充输出、单独评估解码”和“固定解码配置、单独评估预填充”的对照实验，才能把精度损失归因到具体阶段。

五、评测环境与前提

评测结果的可比性高度依赖环境控制。开始测试前需明确以下前提，本文只给出通用要求，不绑定任何具体平台或工具：

• 硬件配置：记录加速卡型号类别、显存容量、互联带宽和计算单元数量；预填充侧对算力敏感，解码侧对显存带宽敏感，硬件差异会直接改变两阶段的瓶颈比例。
• 模型与权重：固定模型规模、层数和参数量，记录量化前的基线权重版本；不同模型对量化的敏感度差异显著，跨模型比较需谨慎。
• 推理配置：固定批处理策略、最大序列长度、采样参数和并发模型；动态批处理会改变解码阶段的批大小，进而改变带宽瓶颈的表现形式。
• 数据规模：准备具有代表性的提示词集合，覆盖短提示、长提示、变长输出和异常输入；样本偏差会直接影响结论外推。
• 测量方式：分阶段计时需排除排队与调度开销，建议在稳定负载下多次采样取分布，而非单次测量。
• 基线设定：以未量化的原始配置作为基线，所有对比在同一环境下完成，避免跨环境拼凑数据。

六、评测方法：如何验证解耦量化的实际效果

评测方法应围绕“可归因”设计，以下流程可作为通用模板：

第一步：建立基线。 在未量化配置下记录首token延迟、每token解码时间、端到端吞吐、显存峰值和输出质量指标。基线是所有对比的锚点。

第二步：分阶段隔离测试。 分别固定解码配置评估预填充量化收益，固定预填充配置评估解码量化收益。示意性伪代码如下，仅表达测试逻辑：

for stage in [prefill, decode]:
    for quant_config in candidate_configs:
        set_quant(stage, quant_config)
        hold_other_stage(baseline)
        record(latency, throughput, memory, quality)

第三步：控制变量压测。 在相同并发梯度下观察两阶段指标变化，重点判断预填充侧是否随并发提升展现算力效率优势，解码侧是否随批大小变化展现带宽收益。压测需记录资源使用曲线，而非只看平均延迟。

第四步：稳定性观察。 进行长时运行测试，观察错误率、输出质量指标和显存占用是否随时间漂移；构造超长提示词、空输入、重复token等边界样本，验证两套量化配置的数值鲁棒性。

第五步：异常与安全检查。 验证配置加载失败、量化产物缺失、权限不足等异常路径的处理行为；检查量化配置与产物的访问控制与审计记录是否完整。

第六步：记录与分析。 记录每次测试的配置、环境、样本和原始数据，分析时区分“统计显著的变化”与“噪声波动”，并对收益给出技术归因，例如显存带宽节省来自权重位宽下降，而非调度优化。

七、结果解读：什么样的结果说明方案有效

结果解读需要避免两个陷阱：一是只看端到端总分，二是把相关性当因果性。以下为解读原则：

• 若解码侧每token时间下降且显存带宽占用同步下降，可初步认为权重压缩作用于带宽瓶颈；若时间下降但带宽占用未变，则收益可能来自其他环节，需进一步排查。
• 若预填充侧首token延迟下降但算力利用率未提升，需检查瓶颈是否已转移到数据加载或调度，量化未必是主因。
• 若端到端吞吐提升但分阶段指标一升一降，说明两阶段存在此消彼长，需结合业务负载比例判断净收益——长提示短输出的场景更看重预填充，短提示长输出的场景更看重解码。
• 若质量指标在可接受范围内但方差增大，说明量化引入了数值不稳定，需在稳定性维度追加测试，不能仅凭均值判定通过。
• 若收益随并发升高而收窄，通常提示瓶颈发生转移，需重新评估解耦策略在该负载区间是否仍有意义。

这些判断都体现条件化表达：同一组结果在不同模型规模、不同硬件和不同负载结构下，结论可能完全不同。

八、适用场景与风险边界

解耦量化的收益具有明显的场景依赖性。更适合关注该方案的场景包括：长提示词、短输出的检索增强类应用（预填充占比高）；高并发、逐token流式输出的对话类应用（解码占比高）；显存受限、需要在有限资源下部署较大模型的推理服务。需要谨慎评估的场景包括：提示词与输出长度都极短的小请求、对数值精度极度敏感的任务、推理框架对量化配置切换支持有限的环境。

风险与限制同样需要明确：评测样本与实际业务流量分布可能存在偏差；不同硬件代际的带宽与算力比例不同，结论不可直接迁移；长时间运行下的数值漂移需要独立验证；维护两套量化配置带来的校准、回归和版本管理成本，可能在小规模部署中超过收益。此外，量化方案的收益还受推理框架调度策略影响，评测结论应限定在已验证的配置组合内。

九、选型与使用建议

基于通用评测逻辑，给出中立建议：

1. 先测量，再决策。 在目标硬件上用真实流量分布测出预填充与解码的时间占比，占比低的阶段不值得为其单独设计量化方案。
2. 分阶段验证精度。 不要用端到端指标替代分阶段评估，尤其要单独检查解码侧的质量退化。
3. 把运维成本计入总账。 双配置意味着双份校准数据、双份回归测试和双份故障排查路径，需评估团队是否具备相应工程能力。
4. 关注瓶颈转移。 量化收益可能随并发和批大小变化而衰减，评测应覆盖业务实际负载区间，而非单点测试。
5. 保留回退路径。 解耦量化应支持按阶段回退到基线配置，便于线上问题定位与灰度验证。

十、总结

本文围绕“预填充与解码是否该用不同量化方式”这一技术主张，建立了覆盖功能、准确性、性能、稳定性、易用性、兼容性、安全性、可观测性、可维护性和成本结构的评测框架，给出了分阶段隔离测试、控制变量压测和长时稳定性观察的通用方法，并说明了结果归因与场景适配的判断原则。核心结论是：解耦量化的价值不在于“更先进”，而在于是否与目标业务的阶段负载结构、硬件瓶颈分布和团队工程能力相匹配。评测的终点不是给出好坏判定，而是明确该方案在什么条件下有效、在什么条件下需要重新评估。