大模型FP8是什么：低精度训练与推理能力评测

一、评测概述

在讨论大模型的参数配置时，“FP8”“FP4”这类表述频繁出现。它们本质上描述的是模型数值的存储与计算精度，而不是模型结构本身的参数含义。当前主流大模型的参数量动辄达到数十亿甚至上千亿，其中绝大部分是权重参数，推理时还会通过与输入数据相乘等步骤产生同样庞大的激活值。若以传统32位浮点（FP32）存储，仅权重一项的存储开销就十分可观，通常还需要配备大显存GPU才能高效运行。因此，业界持续探索通过低精度训练与量化技术压缩参数的表达空间，FP8正是这一技术路线中的关键节点。

需要先说明的是，本文是一次“能力评测”而非“结论宣判”。FP8不是一项非好即坏的技术，它的实际收益取决于硬件支持、模型规模、任务类型、框架生态与工程改造投入等多种因素。本文将把FP8拆解为可观察、可验证、可解释的评测维度，逐一说明每个维度为什么重要、如何验证、结果如何解读，并给出适用场景与风险边界。本文适合算法工程师、推理服务开发者、基础设施架构师以及负责模型项目技术选型的团队阅读。

二、评测对象说明：FP8到底是什么

2.1 从FP32到FP8：浮点数如何构成

浮点数由符号位、指数位与尾数位三部分构成。总位数越多，可表示的数值范围与精度越高，但存储与计算成本也越高。业界常见格式包括：

• FP32：1位符号+8位指数+23位尾数，是传统深度学习训练的标准格式；
• FP16：1位符号+5位指数+10位尾数，存储减半，但动态范围较窄；
• BF16：1位符号+8位指数+7位尾数，指数位与FP32保持一致，动态范围大、精度较低，是大模型训练阶段的主流格式；
• FP8：8位浮点。业界常见的两种编码是E4M3（1+4+3）与E5M2（1+5+2）。E4M3尾数更多、精度相对更高但动态范围较窄，常用于权重与前向计算；E5M2指数更多、动态范围更大，适合梯度等波动剧烈的数值。

从存储角度看，FP8的占用空间是BF16/FP16的一半、FP32的四分之一；从计算角度看，在支持FP8指令的硬件上，FP8矩阵乘法的理论吞吐明显高于BF16。公开资料显示，某千亿参数级开源大模型在采用FP8混合精度训练后，核心矩阵乘法速度约为BF16的两倍，最终总训练开销约278.8万GPU小时即完成，且训练过程稳定、未出现重大数值问题。这组数据说明FP8路线在超大规模训练中的工程可行性已经得到验证，但读者仍需结合自身硬件条件、模型规模与任务类型评估可迁移性，不能直接照搬结论。

2.2 混合精度：不是所有环节都用FP8

成熟的FP8方案并不会把整个模型一刀切降到低精度，而是“该快的地方快、该稳的地方稳”：

• 权重与核心计算：模型权重以FP8存储，矩阵乘法等核心计算在FP8下执行，换取速度与显存收益；
• 敏感模块保留高精度：嵌入模块、输出头等对数值误差敏感的关键部分，保留BF16或FP32计算，以保障训练收敛的数值稳定性；
• 缩放管理：通过细粒度分块量化控制数值分布，避免异常值破坏精度。

2.3 细粒度分块量化

大模型的激活值中往往存在少量幅值远超其他数值的“异常值”。如果整张张量共用一个缩放系数，正常数值会被压缩到极窄的低精度区间，精度损失被放大。分块量化的做法是把张量切分为小块独立缩放——例如激活值按1×128块、权重按128×128块——每个块维护独立的缩放因子，使异常值的影响被限制在局部块内，其余数值仍能保持较高的相对精度。这是FP8能在大模型上稳定使用的核心配套技术之一。

2.4 推理侧的FP8

除训练外，主流大模型也支持FP8与BF16两种推理模式，多款主流推理框架已完成适配。对显存受限的部署环境，FP8可将权重显存开销压缩近半，意味着同一张卡可以容纳参数规模更大的模型或更大的批处理量；同时更低的精度也意味着更低的显存带宽压力，对受带宽制约的自回归解码阶段尤其有意义。

三、评测目标

本次评测围绕四个核心问题展开：

1. 精度有效性：FP8训练与推理是否会造成不可接受的精度损失？
2. 性能与资源：吞吐、延迟、显存的实际收益到底有多大？
3. 稳定性：长时间运行中是否会出现溢出、NaN、损失异常等问题？
4. 工程成本：硬件依赖、框架兼容与改造投入是否可控？

需要提前强调：评测结论必须条件化。脱离硬件代次、模型规模与任务类型去谈“FP8好不好”，是没有工程意义的。

四、评测维度设计

评测维度	关注点	建议验证方式
精度有效性	损失收敛情况、下游任务指标差异	与BF16基线全流程对比
性能表现	算子级加速、端到端吞吐与延迟	固定负载压测
资源占用	权重/激活/KV缓存显存、通信量	运行时监控
稳定性	NaN/Inf、损失突刺、梯度异常	长跑观察+异常输入测试
兼容性	训练/推理框架、硬件指令支持	环境适配验证
成本结构	GPU小时、部署卡数、人力投入	资源记账
易用性	量化配置复杂度、调试排障难度	人工评估

各维度的意义需要展开理解：

• 精度有效性是门槛项。任何性能收益都不能以输出质量崩塌为代价，若精度不达标，其余维度的收益都失去意义；
• 性能表现要区分算子级与系统级。FP8矩阵乘法快约两倍，不代表整个模型快两倍——注意力计算、通信同步、内存访问等环节会摊薄整体收益，评测必须两級都测；
• 资源占用需全口径统计。权重显存减半不等于总显存减半，激活值与推理阶段的KV缓存同样是显存大头；
• 稳定性决定能否上生产。偶发数值异常在大规模分布式训练中会被并行规模放大，必须长周期观察；
• 兼容性是隐性成本。FP8依赖较新一代硬件的指令支持，旧设备无法获得任何收益；
• 成本要算总账。训练节省的GPU小时、推理节省的卡数，与配置调试、问题排查的人力投入，共同决定投入产出比。

五、评测环境与前提

评测前应明确以下前提，并在评测全程保持固定：

• 硬件：先确认所用GPU支持FP8指令集，这是硬门槛，可通过硬件厂商公开文档核实；可使用自建集群，也可通过公有云GPU实例（如百度智能云等提供的异构算力服务）搭建环境，关键是保证前后一致；
• 软件框架：选用已支持FP8混合精度的训练与推理框架版本，版本全程不变；
• 模型与数据：固定模型结构、参数量、词表规模与训练数据；
• 基线：在完全相同配置下运行BF16全精度流程作为对照；
• 负载：固定输入长度分布、并发数与请求模式；
• 边界：明确本次结论仅覆盖当前规模与任务，不外推到其他规模。

六、评测方法

6.1 精度验证

• 训练阶段：并行记录FP8与BF16基线的损失曲线，观察两者是否基本重合、是否存在系统性偏高或突刺；
• 评测阶段：在同一组通用基准任务上对比两版模型指标，并检查困惑度差异；
• 推理质量：抽样人工对比生成结果的连贯性与事实一致性，重点关注低精度常见的退化模式。

示意性伪代码如下：

# 通用伪代码：FP8 与 BF16 精度对比流程
baseline = train(model, precision="bf16", data=dataset, steps=N)
fp8_run  = train(model, precision="fp8",
                 policy={
                   "weights":          "fp8",
                   "matmul":           "fp8",
                   "embedding":        "bf16",
                   "output_head":      "fp32",
                   "act_scale_block":  [1, 128],
                   "weight_scale_block": [128, 128]
                 },
                 data=dataset, steps=N)
compare_loss(baseline.history, fp8_run.history)
report(evaluate(baseline.ckpt, tasks),
       evaluate(fp8_run.ckpt, tasks))

6.2 性能压测

• 算子级：单独测量矩阵乘法在FP8与BF16下的耗时，验证硬件加速比是否兑现；
• 系统级：固定请求分布，测量吞吐量、首字延迟与长尾延迟；
• 扩展性：逐步提高并发，观察吞吐拐点与延迟增长曲线。

6.3 稳定性观察

• 长周期训练中监控NaN/Inf出现频率、损失突刺次数与梯度范数波动；
• 异常输入测试：极端数值、超长序列、特殊字符等边界输入下推理是否稳定；
• 依赖波动测试：模拟网络抖动与资源紧张，观察是否出现数值层面的连带问题。

6.4 资源与成本记录

全程记录显存峰值、带宽利用率与GPU小时消耗；同时汇总人力投入，包括环境搭建、量化配置调试与问题排查的时间成本。

七、结果解读

• 精度层面：若FP8损失曲线与基线基本重合、下游指标差异落在可接受区间，可判定精度有效；若出现系统性偏高或指标显著下降，应优先排查分块量化粒度与敏感模块的高精度保留策略，而不是直接否定FP8路线本身；
• 性能层面：算子级加速明显而系统级加速有限属于正常现象，应关注瓶颈转移后的下一个优化点（如通信与内存带宽）；若系统级吞吐提升接近理论值，说明计算环节占比高、收益兑现充分；
• 显存层面：权重显存下降与总显存下降不成比例时，说明激活或KV缓存成为新瓶颈，可结合推理框架的缓存管理策略继续优化；
• 稳定性层面：公开披露的超大规模训练“零重大数值问题”是理想结果，但小规模复现时仍需自行验证——数据分布与并行策略不同，异常值的表现可能不同；
• 结论边界：所有结论只适用于相同硬件代次、相近模型规模与同类任务条件。

八、适用场景分析

• 超大规模预训练：成本敏感度最高，FP8收益最充分，稳定性保障方案也最成熟，值得优先投入；
• 在线推理服务：显存受限、吞吐压力大时收益明显；低负载小模型服务收益有限，需权衡改造成本；
• 微调与对齐：训练量小、数值敏感度高，收益相对有限，建议先小规模试点再决定；
• 消费级/边缘硬件：FP8硬件支持普遍不足，低比特压缩更多应考虑整数型量化或更低位浮点方向。

九、风险与限制

• 硬件依赖：FP8收益与硬件指令强绑定，旧设备无法复现评测结果；
• 样本偏差：单一数据集与任务得出的结论存在偏差，建议多任务交叉验证；
• 数值风险：异常值分布因任务而异，分块缩放参数不能盲目照搬；
• 生态差异：不同框架版本对FP8的实现细节与默认策略不同，跨框架结论需重新验证；
• 长期不确定性：短周期评测无法覆盖数月级训练与长期线上服务的全部风险。

十、选型与使用建议

1. 先确认硬件与框架支持，再谈收益预期；
2. 建立BF16基线，任何低精度方案都应与基线全流程对比后再推广；
3. 采用混合精度策略，嵌入与输出头等敏感模块保留高精度，不做全量一刀切；
4. 采用细粒度分块量化管理异常值，并根据自身数据特点调整分块粒度；
5. 建立数值监控体系（损失曲线、NaN告警、梯度范数），把稳定性做成可观测指标；
6. 遵循“小规模试点—评估—再扩大”的节奏，避免直接在生产环境全量切换；
7. 用总成本视角做决策：GPU小时节省与人力投入共同决定是否采用。

十一、总结

FP8是8位浮点数格式，在大模型中以“混合精度+分块量化”的组合形态落地：权重与核心计算用FP8换取速度与显存收益，嵌入与输出头等敏感模块保留高精度以保障稳定，分块缩放则用于控制异常值带来的精度损失。评测FP8时应围绕精度有效性、性能表现、资源占用、稳定性、兼容性与成本结构六大维度，以BF16为基线、以控制变量为原则、以条件化结论为输出方式。对大规模预训练与显存受限的推理服务，FP8路线值得认真评估；对小规模训练或旧硬件场景，则应先验证前提条件再做决策。