简介：本文面向大模型推理与训练场景，系统梳理从BF16到FP8、MXFP4、INT4的精度格式演进路径，并围绕资源评估、硬件适配、量化策略选择、部署流程、上线验证及运维优化展开完整说明。帮助算法工程师、运维人员与技术决策者理解不同精度格式的适用边界，掌握按业务需求配置量化方案的方法，避免盲目压低精度带来的性能劣化，实现成本与效果的平衡。
大模型在训练与推理阶段对显存容量、内存带宽和通信带宽提出极高要求。以典型千亿级参数模型为例，若采用16位浮点格式存储，单份参数权重即可占用数百GB甚至上TB级别的显存空间，远超单卡承载能力，必须依赖多卡并行与模型切分。而自回归生成任务中，每生成一个Token都需要完整读取一遍全部权重，内存带宽因此成为决定推理吞吐的关键瓶颈。与此同时，跨设备通信的频繁发生也进一步放大了延迟。
为了在有限硬件资源上运行更大规模的模型，业界普遍采用低精度量化技术。其核心思想是在可接受的精度损失范围内，用更少比特位表示模型参数、激活值与梯度，从而压缩存储开销、降低带宽占用并提升计算效率。本文围绕精度格式的演进路径，重点阐述BF16、FP8、MXFP4、INT4四类典型格式的技术特征、适用场景、硬件配合要求，并给出从环境准备到上线验证的完整部署流程。本文适用于具备一定深度学习基础，正在规划大模型训练或推理架构的算法工程师、平台运维人员及技术架构师。
大模型精度格式的演进整体遵循“存储位宽逐渐减少、计算吞吐逐步提升、精度保持难度持续增加”的路径。早期采用32位浮点（FP32）进行训练，随后因数值溢出问题引入BF16，配合FP32混合精度训练实现吞吐翻倍。进一步地，FP8作为8位浮点格式开始应用于大规模训练，其具备动态范围大与计算效率高的双重优势。而INT4与MXFP4则主要面向推理阶段，以更低存储成本换取单位显存内更大的模型容量。
| 格式 | 位宽 | 计算效率 | 精度风险 | 主要适用阶段 |
|---|---|---|---|---|
| FP32 | 32 | 低 | 无 | 早期基线 |
| BF16 | 16 | 中 | 较小 | 混合精度训练 |
| FP8 | 8 | 较高 | 中等 | 大规模训练、部分推理 |
| MXFP4/NVFP4 | 4 | 高 | 较高 | 推理压缩，显存受限场景 |
| INT4 | 4 | 高 | 较高 | 推理压缩，结合权重均衡技术 |
BF16采用1个符号位、8个指数位与7个尾数位。相比FP16，其指数范围与FP32完全一致，因此不会因数值范围不足造成溢出。在训练中使用BF16配合FP32参数副本进行混合精度训练，可在几乎不损失精度的前提下将矩阵乘法吞吐提升约一倍。
部署选型要点：
FP8格式分为E4M3与E5M2两种变体。E4M3尾数位更多、精度更高，适合前向传播与权重存储；E5M2指数位更多、动态范围更大，适合反向传播中的梯度计算。FP8量化通常采用张量级或通道级缩放因子，将原始浮点数值映射到有限动态范围内。
核心技术挑战：
MXFP4遵循开放计算组织（OCP）发布的Microscaling格式规范，采用E2M1元素格式，即1个符号位、2个指数位、1个尾数位，并以每32个元素为一组共享一个8位缩放因子（E8M0）。这一微缩放机制使得MXFP4能够在极低比特宽度下保留局部动态范围，显著抑制离群点带来的精度劣化。
MXFP4数值表示示例（以正数部分为例）：
| 二进制编码 | 解码方式 | 数值 |
|---|---|---|
| 0000 | 0 | 0 |
| 0001 | 次正规数 | 0.5 |
| 0010 | 2^(0-1) × (1+0) | 0.5 |
| 0011 | 2^(0-1) × (1+0.5) | 0.75 |
| 0100 | 2^(1-1) × (1+0) | 1.0 |
由于MXFP4仅具备4位精度，单独依赖元素格式会产生明显误差，因此共享缩放因子的组大小、缩放因子的更新频率以及层间敏感度差异都直接影响最终模型质量。部署时需要结合逐层校准、误差分析进行精细量化，并对敏感层保留更高精度。
INT4仅有16个离散取值，进一步压缩显存占用，但对量化算法的鲁棒性要求极高。实践中常用技术包括：
INT4格式多数情况下仅适用于推理阶段，且需要配合专用的内核优化才能获得实际加速效果。若底层计算库缺乏对INT4矩阵乘法的优化，可能出现“存储省了但速度没有提升”的情况。
精度格式直接决定显存占用与计算吞吐。以下为参数规模与显存关系的通用参考：
| 模型参数规模 | 存储格式 | 权重大小 | 单卡显存需求（含激活与优化器） |
|---|---|---|---|
| 70亿（7B） | BF16 | ~14 GB | ≥40 GB |
| 700亿（70B） | BF16 | ~140 GB | ≥160 GB（需多卡） |
| 700亿（70B） | MXFP4 | ~35 GB | 约60 GB |
| 6700亿（670B） | INT4 | ~335 GB | 需多节点分布 |
关键判断依据：
模型量化前需准备一组具有代表性的校准数据，通常为数百至数千条样本，覆盖业务场景中的常见输入分布。校准数据用于统计各层激活值的数值范围，从而确定最优缩放因子。若校准数据分布与真实线上数据差异过大，会导致量化后模型在线上表现异常，因此需要定期更新校准集。
先明确部署的是训练任务还是推理服务，再决定精度格式。训练任务优先考虑BF16与FP8的组合策略；推理任务结合显存限制、延迟要求与精度容忍度选择MXFP4或INT4。
伪代码示例：
for each layer in model:weight_stat = collect_statistics(layer.weight)if format == MXFP4:scale = compute_group_scale(weight_stat, group_size=32)quantized_weight = quantize_with_scale(layer.weight, scale)elif format == INT4:scale, zero_point = compute_affine_scale(weight_stat)quantized_weight = quantize_affine(layer.weight, scale, zero_point)save(quantized_weight, scale)
需要将量化后的权重格式与推理引擎的计算图进行匹配。对于MXFP4与INT4格式，通常要求推理引擎内部具备低精度矩阵乘法内核，否则可能发生“反量化到FP16再计算”的软回退，导致性能无提升甚至下降。
部署时应确认：
量化后模型必须经过完整的质量验证流程，包括：
| 指标 | 验证方式 | 预期结果 |
|---|---|---|
| 显存占用 | 监控工具跟踪 | 显著低于BF16基线 |
| 首Token延迟 | 计时接口响应 | 满足业务要求 |
| 生成吞吐（Token/s） | 批量压测 | 较原始格式提升 |
| 内存带宽利用率 | 性能分析工具 | 接近硬件峰值 |
若量化后模型效果不达标，应具备以下回退路径：
| 问题现象 | 可能原因 | 解决方向 |
|---|---|---|
| 量化后模型输出明显变差 | 缩放因子估计不准或离群点影响 | 重新统计校准集、细化分组粒度、混合精度回退 |
| 推理速度未提升 | 底层内核不支持低精度格式 | 检查计算库版本、更换推理引擎 |
| 显存占用未减少 | 权重被反量化回高精度存储 | 确认模型加载与计算格式一致性 |
| 训练过程崩溃或梯度溢出 | FP8动态范围不够 | 切换E5M2格式或部分层回退BF16 |
大模型精度格式的选型并非一味追求低位宽，而是要在显存容量、计算效率、模型质量与部署成本之间寻找平衡。BF16依然是训练阶段最稳妥的基线，FP8适合在训练与大规模推理中做进一步提速，MXFP4与INT4则更适合显存受限的推理部署场景。实际部署中应始终坚持“先评估、后量化、再验证”的顺序，结合硬件能力与业务质量指标反复迭代，才能获得既经济又可靠的部署效果。