AI大模型精度格式选型：BF16 / FP8 / FP4 / INT4 深度解析
在大型语言模型（LLM）的训练与推理部署中，精度格式的选择直接决定了模型的显存占用、计算吞吐量以及最终的生成质量。从 BF16 到 FP8，再到极致压缩的 FP4 与 INT4，这不仅是数字位宽的递减，更是一场涉及数学表达、硬件架构与系统工程的深度博弈。
一、概念定义：什么是大模型精度格式？
大模型精度格式，是指在网络模型训练和推理时，用于表示权重、激活值及 KV Cache 数据的底层数值存储类型。常见的格式包括：
- BF16 (Brain Float 16)：保留 8 位指数和 7 位尾数，动态范围与 FP32 相同，是目前大模型训练与高精度推理的事实标准。
- FP8 (8-bit Floating Point)：分为 E4M3 和 E5M2 两种变体，在牺牲极少部分精度的前提下，将显存占用与计算带宽需求减半。
- FP4 (4-bit Floating Point)：如 MXFP4、NVFP4，极度压缩位宽，通常需要配合块级缩放因子来维持数值表达的准确性。
- INT4 (4-bit Integer)：使用整数刻度表示权重，多见于社区训练后量化（PTQ）方案。
二、背景与价值：为什么需要多种精度格式？
随着模型参数量从百亿迈向千亿甚至万亿级别，显存容量与显存读取带宽成为了推理系统的绝对瓶颈。在自回归解码阶段，模型每生成一个 token，都需要将完整的网络权重以及当前上下文对应的 KV Cache 从显存读取到计算单元中。这一过程的耗时基本由读取的数据量决定。
降低精度格式（如从 BF16 降至 FP8 或 FP4）的核心价值在于：
- 成倍减少显存占用：使得单张显卡或单个计算节点能够容纳更大的模型，减少跨节点通信开销。
- 突破内存带宽瓶颈：减少解码阶段每次访存的数据量，直接提升 Token 生成吞吐量。
三、核心组成与工作原理：选型决策的四大维度
在进行精度格式选型时，不能简单追求越低越好，而是需要基于以下四个维度进行系统性决策。
1. 缩放因子粒度与附加成本
低比特格式不可避免地需要引入缩放因子来还原原始数值的动态范围。缩放因子的位宽和分组粒度直接影响了实际的压缩率与精度保持度。
- 在 8 bit 时代（如 FP8），缩放因子的选择对整体影响较小。即使每 128 个激活值配置一个 FP32 级别的缩放因子，折算下来每个参数仅多出约 0.25 bit 的额外存储。
- 到了 4 bit 时代，情况大不相同。以某行业领先模型的 MXFP4 格式为例，每 32 个元素共享一个 UE8M0 格式的缩放因子，附加开销占比约为 5.9%；而另一种 NVFP4 格式，每 16 个元素共享一个 E4M3 格式的缩放因子，开销占比达 11.1%。因此在 FP4 阶段，不仅要讨论分组粒度，缩放因子本身的格式也必须严格筛选。
2. 显存带宽收益的动态转移
降低位宽带来的收益并不是一成不变的，它随着上下文长度的变化而动态转移。
- 权重读取：与上下文长度无关，每次生成都需要全量读取。
- KV Cache 读取：随上下文长度线性增长。
假设一个 671GB 规模的 FP8 权重模型，每 token 的 KV Cache 约为 70KB，在批次大小为 128 的情况下，如果 KV Cache 保持 BF16 格式，当上下文超过约 73K 时，读取 KV Cache 的数据量就会超过读取模型权重的数据量。此时，继续将模型权重从 8 bit 降至 4 bit，带来的吞吐收益会越来越小。当模型上下文从 128K 扩展到 1M 时，降低位宽的优化重点必须从权重侧转移到 KV Cache 侧。
3. 量化误差的补偿机制
降低位宽必然引入截断误差，误差能否被补偿决定了格式的适用场景。
- 权重侧误差补偿：权重的分布在网络训练后就固定了，且可以通过量化感知训练（QAT）在后训练阶段带着低比特格式进行微调，让模型主动“学习”并吸收这部分量化误差。因此权重可以使用较为激进的 MXFP4 格式。
- KV Cache 侧误差补偿：KV Cache 是在推理时根据输入实时在线生成的，没有机会通过训练来补偿误差。因此，KV Cache 的低比特化必须在格式本身上把精度做足，例如采用 E4M3 作为缩放因子、分组粒度细化为每 16 个一组。
4. 缩放因子格式的数学取舍
缩放因子的数据类型本身存在数学特性上的取舍：
- UE8M0：只能取 2 的幂次方。这种格式在硬件实现上成本最低，但最坏情况下会损失一个“binade”（相邻两个 2 的幂次方之间的一段数值区间）。
- E4M3：拥有约 18 个 binade，即使丢失一个，对整体范围的影响微乎其微。
- E2M1：仅有约 3.6 个 binade，少一个就丢掉了近三成的表达范围。
这也是为什么在高级别的 FP4 格式（如 NVFP4）中，倾向于使用 E4M3 作为缩放因子的根本原因。
四、相关概念区别：浮点数 (FP4) 与整数 (INT4)
在 4 bit 极限压缩下，通常会面临 FP4 与 INT4 的选择。
- INT4：多见于社区训练后量化（如业界常见的 PTQ 方案）。INT4 在组内采用均匀刻度进行量化，即数值之间的间隔是等距的。这种方案实现简单，但难以完美拟合大模型权重中常见的长尾分布。
- FP4：采用浮点数刻度，数值之间是非均匀分布的，能够更好地覆盖异常值。但其计算和缩放因子的处理相对复杂，通常需要底层硬件的深度支持。
五、典型场景与硬件依赖
精度格式的选型高度依赖于底层硬件的演进。脱离硬件谈论精度格式是不现实的。
- 常规训练与高精度推理：BF16 依然是首选，保证数值稳定性和模型精度。
- 高吞吐推理部署：在上一代计算架构（如 Hopper 架构）中，硬件没有原生的块级缩放因子支持，FP8 的通用矩阵乘法（GEMM）只能在通用计算核心上执行乘法运算，存在算力折损。
- 极致显存优化场景：在最新一代计算架构（如 Blackwell 架构）中，块级缩放矩阵乘法被直接集成到了 Tensor Core 中。这使得硬件能够原生支持 FP4 权重与 FP8 激活的混合计算。需要注意的是，当前硬件上 FP4×FP8 的峰值算力与 FP8×FP8 是一样的，这意味着使用 FP4 权重的收益几乎全部体现在显存容量和读取带宽的节省上，而非计算加速。
六、使用注意事项
- 分清瓶颈所在：在实施低比特化前，应先分析推理系统的瓶颈是计算密集型还是显存带宽密集型。若上下文极长，应优先考虑 KV Cache 的低比特化（如 FP8 或精细分组的 FP4），而非盲目压缩权重。
- 评估量化误差容忍度：对于在线生成的 KV Cache，避免使用无补偿机制的激进量化方案；对于静态权重，尽量结合 QAT 流程进行量化。
- 匹配硬件能力：确保所选的精度格式和缩放因子粒度能够被目标部署硬件的 Tensor Core 原生支持，否则性能会大幅退化到通用计算核心层面。
- 云上部署建议：在百度智能云等主流云服务商的 GPU 实例上进行部署时，建议优先选用原生支持 FP8 甚至 FP4 算力的最新实例类型，结合容器平台进行灵活调度，以最大化单位成本下的推理吞吐量。
七、总结
AI 大模型从 BF16 到 FP8，再到 FP4 与 INT4 的演进，并非单纯的数值位宽缩减，而是一项包含分组粒度设计、动态带宽分配、误差补偿机制与底层硬件匹配的系统工程。在实际选型中，开发者必须深刻理解“8 bit 重粒度、4 bit 重格式”的规律，明确长上下文场景下“带宽收益从权重向 KV 转移”的趋势，并依托最新硬件的块级缩放算力，才能在模型精度、显存占用与推理性能之间找到最优解。