一、什么是大模型量化
大模型量化(Quantization)是指将原本以高精度浮点数(如 FP32、FP16、BF16)存储和计算的大语言模型,转换为低比特表示(如 INT8、INT4 乃至更低比特)的一类模型压缩技术。它的本质是在“精度”与“资源开销”之间做权衡:用可控的精度损失,换取显存占用的大幅下降与推理吞吐的提升。
从技术视角看,量化解决的是“数值表示”问题——神经网络中的权重与激活值本可以用更少的比特近似表达;从业务视角看,量化解决的是“部署成本”问题——它让百亿、千亿参数级的模型能够在有限显存甚至消费级硬件上运行;从使用视角看,量化是模型从“训练态”走向“生产态”和“边缘态”的关键一步。因此,理解大模型量化,是理解大模型如何高效落地的必修课。
二、为什么需要量化:背景与价值
大模型的参数量极其庞大。以一个千亿参数模型为例,在 FP16 精度下,仅权重就需要约 200GB 的显存;若叠加推理时的激活、KV 缓存等开销,实际占用会更高。这样的资源需求远超普通单卡甚至多卡集群的承载范围,直接限制了模型的可用性。
量化带来的价值主要体现在三个方面:
- 显存压缩:权重从 16 比特降到 8 比特或 4 比特,显存占用可近似线性下降(如从 200GB 降至约 50GB 或更低),使更大模型能塞进更小的显存。
- 吞吐提升:低比特运算在支持的硬件上可显著提高计算并行度与访存效率,从而提升每秒生成的 token 数。
- 成本降低:更低的资源占用意味着更少的硬件投入,无论是自建集群还是云端调用,都能带来直接的经济效益。
三、量化的核心分类维度
要理清“有哪些量化方法”,首先要建立正确的分类框架。量化并非单一技术,而是沿多个维度展开的技术族:
按作用阶段:
- 训练后量化(PTQ,Post-Training Quantization):模型训练完成后直接量化,无需重新训练,成本低、通用性强。
- 量化感知训练(QAT,Quantization-Aware Training):在训练/微调过程中就模拟量化误差,让模型适应低比特表示,精度损失更小但成本更高。
按量化对象:
- 仅权重量化(Weight-only):只压缩权重,激活保持高精度,常用于显存瓶颈明显、算力相对充裕的场景。
- 权重与激活联合量化(如 W8A8 表示权重 8 比特、激活 8 比特):同时压缩两者,更能释放低比特算力,但对激活离群值更敏感。
按数值精度:
- INT8、INT4 是主流选择;FP8 在较新硬件上逐渐普及;还有将不同层用不同精度的混合精度策略。
按量化粒度:
- 逐张量(per-tensor)、逐通道(per-channel)、逐组(per-group)、逐 token(per-token)。粒度越细,通常精度保持越好,但元数据与实现复杂度也越高。
四、主流量化方法详解
4.1 训练后量化(PTQ)
PTQ 是实践中最常用的一类方法,可按技术路线进一步细分:
- 朴素取整量化:直接将权重四舍五入到最近的低比特值(Round-to-Nearest),实现最简单,但在低比特下误差累积明显,精度损失较大。
- 基于误差补偿的逐层量化:借鉴最优权重重建的思路,在量化某一层时结合二阶信息(近似 Hessian)对剩余权重做补偿调整,从而在 INT4 等极低比特下仍保持较好精度,是权重量化的代表性方向。
- 激活感知的权重量化:观察到少量“重要权重”对输出影响更大,量化时优先保护这些权重通道,能在不牺牲太多精度的情况下大幅压缩显存。
- 激活离群值处理:由于大模型激活中存在数值极大的离群值,直接用低比特量化易溢出。相关方法通过将激活的量化难度“迁移”到权重上(如逐通道缩放),或对离群通道做拆分处理,使 W8A8 等联合量化成为可能。
4.2 量化感知训练(QAT)
QAT 在训练或微调阶段引入“伪量化”操作(先量化再反量化),让模型在前向传播时就感知到低比特带来的误差,并在反向传播中加以修正。与 PTQ 相比,QAT 通常能在更低比特(如 4 比特及以下)取得更接近全精度的效果,但需要额外的训练算力与数据,落地成本更高。近年“低比特存储 + 低秩微调”的组合方法,则在有限显存下实现了对量化模型的进一步适配,兼顾了效率与效果。
五、量化格式与推理环境的匹配
一个常被忽视但极其关键的问题:量化的“产物格式”必须与“推理环境”相匹配,否则再好的量化模型也无法高效运行。
业界存在面向不同场景的量化模型组织方式。一类是面向通用推理与本地化/CPU 推理场景的量化格式,强调可移植性与在通用硬件上的易用性,常被本地推理工具采用;另一类则是面向高并发、高吞吐的 GPU 服务框架所优化的量化方案,强调与特定计算内核、批处理调度的深度契合。
这解释了一个常见误解:某些在 CPU 或本地推理场景下广泛使用的量化格式,并不一定适合直接用于面向生产级高并发的 GPU 推理服务框架。原因在于二者对显存布局、算子支持、批处理策略的要求不同。选型时必须明确:目标硬件是 CPU 还是 GPU?是本地单人使用还是多用户并发服务?是否需要与特定的高性能推理框架协同?只有格式与环境对齐,量化的收益才能真正兑现。
六、典型应用场景
- 云端大模型服务:通过 INT8/INT4 权重量化降低单实例显存占用,从而在同样硬件上支撑更高并发,降低成本。
- 端侧与边缘设备:在内存受限的设备上部署轻量量化模型,实现离线或近端推理。
- 本地化开发调试:开发者在自有工作站上对中等规模模型做量化后推理,降低硬件门槛。
- 精细化后训练:结合低秩微调对量化模型做领域适配,在有限资源下定制能力。
在云平台层面,主流云服务商通常将大模型能力以“推理服务”“模型托管”“容器化部署”“监控告警”等通用产品类目对外提供,配合弹性算力,可进一步简化量化模型的部署与运维。
七、相关概念区别
- 量化 vs 剪枝:剪枝通过去除冗余参数(结构化或非结构化)减小模型规模;量化则通过降低数值精度压缩模型。二者互补,常结合使用。
- 量化 vs 蒸馏:知识蒸馏用大模型指导小模型训练,产出的是结构更小的模型;量化不改变模型结构,只改变数值表示。
- PTQ vs QAT:PTQ 无需重训练、成本低、上手快,适合多数场景;QAT 精度更高但成本大,适合对精度极为敏感的极低比特场景。
- 权重量化 vs 联合量化:前者更适合显存瓶颈、算力充裕的推理;后者能更好利用低比特算力,但需妥善处理激活离群值。
八、选型与使用注意事项
- 精度评估不可省略:量化后必须在目标业务数据集上做质量评测,避免“看起来能用、实际退化明显”。低比特量化对特定任务(如长文本推理、代码生成)的影响可能不对称。
- 硬件与格式匹配:确认目标硬件是否原生支持所选精度(如 INT8、FP8、INT4),以及推理框架是否支持对应的量化内核。
- 权衡比特与粒度:并非比特越低越好,粒度越细通常越能保精度,但会带来额外开销,需结合资源与目标综合取舍。
- 关注显存与缓存:除权重外,KV 缓存等在长上下文场景下也会成为瓶颈,量化方案应一并考虑。
- 安全与合规:使用来源明确的模型与量化产物,注意供应链安全,避免引入不受信任的第三方文件。
九、总结
大模型量化是一族以“用可控精度损失换取资源与效率收益”为目标的压缩技术。其核心路径分为训练后量化与量化感知训练,并在量化对象、数值精度、量化粒度等维度上延伸出丰富的方法组合。真正落地的关键,不在于追求最低比特,而在于让量化方法、产物格式与目标推理环境三者相互匹配。理解这一框架,才能在不同硬件、不同业务约束下做出合理的量化选型,让大模型在成本与效果之间取得平衡。