简介:FP4是4位浮点格式,采用1符号位、2指数位、1尾数位。本文解释E2M1编码、数值间距、块级缩放、累加与打包机制,比较FP4、FP8、INT4差异,并给出推理与训练选型、验收清单和回退方案,帮助读者判断适用边界。
FP4是一种面向人工智能计算的4位浮点格式。它的目标不是提供完整通用数值表达,而是在矩阵乘法、推理内核等受控场景中,用更少比特承载计算,从而提升硬件利用率,并降低存储与带宽压力。
典型FP4采用E2M1位分配:1位符号位、2位指数位、1位尾数位。符号位表示正负,指数位表示数量级,尾数位表示精度。由于总位宽只有4位,FP4能够表示的原生数值非常有限,实际使用时通常需要依赖缩放因子、块级量化以及更高精度累加。
围绕FP4的常见问题包括:
大模型规模增长后,显存容量与内存带宽经常成为瓶颈。FP32、FP16、BF16虽然精度充足,但每个数值占用比特较多。低精度格式的演进路径通常是:FP32 → FP16/BF16 → FP8 → FP4。
FP4在这条路线中属于较激进的档位。其核心价值不是替代所有数据类型,而是在特定内核中提高计算密度。只要模型经过合适校准,且精度损失在业务可接受范围内,FP4就能以更少的存储载荷换取更高的吞吐表现。
需要强调的是,FP4并不适合所有任务。它更像一种需要严格受控的硬件能力,而不是可直接用于所有通用计算的默认数据类型。
典型FP4采用E2M1结构:
| 组成 | 位数 | 作用 |
|---|---|---|
| 符号位S | 1 | 决定正负号 |
| 指数位E | 2 | 决定数量级 |
| 尾数位M | 1 | 决定精度 |
在常见的E2M1定义中,正数可按以下方式计算:
以正数部分为例,编码结果通常包括:0、0.5、1、1.5、2、3、4、6。负数则对称存在。
| 符号位S | 指数位E | 尾数位M | 数值示例 | 与前一个正数值间距 |
|---|---|---|---|---|
| 0 | 00 | 0 | 0 | - |
| 0 | 00 | 1 | 0.5 | 0.5 |
| 0 | 01 | 0 | 1 | 0.5 |
| 0 | 01 | 1 | 1.5 | 0.5 |
| 0 | 10 | 0 | 2 | 0.5 |
| 0 | 10 | 1 | 3 | 1 |
| 0 | 11 | 0 | 4 | 1 |
| 0 | 11 | 1 | 6 | 2 |
因此,FP4的相邻可表示值间距随数量级变化:小值区间约为0.5,较大区间可达到1或2。这意味着FP4无法在大范围数值上保持均匀精度,必须依靠缩放因子把重要数值映射到更合适的区间。
FP4通常作为计算格式使用。乘法输入可以是FP4,但累加往往回退到FP16或FP32。这样做的目的,是既享受4位载荷带来的吞吐优势,又避免误差在低精度累加中持续扩大。
是否全程使用FP4累加,取决于具体内核。如果硬件、框架和模型都经过验证,某些实现可能采用更低精度累加;但在生产环境中,FP16或FP32累加通常更稳妥。
由于E2M1的动态范围很窄,直接用原始FP4表示真实张量通常不可行,因此缩放因子成为FP4方案的关键组件。不同实现的差异,主要体现在缩放粒度、缩放因子精度和块大小上。
| 路线 | 常见描述 | 关键差异 |
|---|---|---|
| 厂商自定义块级缩放格式 | 由硬件厂商或工具链厂商定义的块级缩放方案 | 块大小、缩放因子位宽、是否使用偏移等可能因厂商而异 |
| OCP MX类微缩放格式 | 开放社区推动的微缩放路线 | 通常以较大数据块共享缩放因子,具体块大小和缩放因子精度需以规范版本为准 |
无论采用哪种路线,FP4的元素位分配通常仍为E2M1。真正影响精度和 performances,是缩放因子如何组织、缩放因子精度是否足够,以及推理内核如何处理块内数值。
单个4位数值只占半字节,因此常见做法是两个元素打包进一个字节。通常第一个元素放在低4位,第二个元素放在高4位。
一个8位字节可表示为:
[高4位:元素2][低4位:元素1]
N个元素所需字节数为N除以2后向上取整。仅统计原始4位载荷,且未计入缩放因子、对齐和打包开销时,FP4的存储位宽约为FP8的一半;实际显存收益需要结合缩放因子、元数据和具体打包方式评估。
| 场景 | 推荐做法 | 收益 | 风险 | 回退方案 |
|---|---|---|---|---|
| 延迟敏感在线推理 | FP4计算、FP16或FP32累加 | 提升吞吐,降低带宽压力 | 精度损失、算子支持不足 | FP8或BF16 |
| 模型分发与部署 | 使用预量化FP4模型 | 降低部署门槛和存储体积 | 硬件或框架兼容性不确定 | 提供FP8或BF16版本 |
| 训练成本探索 | 块级缩放FP4,配合高精度累加 | 降低训练资源消耗 | 数值稳定性与校准难度较高 | BF16或FP8 |
| 图形化或低代码推理工具 | 工具原生FP4支持 | 降低使用门槛 | 黑盒校准,误差不可见 | 保留标准精度入口 |
| 高精度任务 | 谨慎使用或仅做局部加速 | 局部吞吐提升 | 质量不达标 | BF16、FP8或FP16 |
FP4尤其适合对延迟、成本和吞吐敏感的推理场景,但前提是通过验证集证明精度损失可接受。
| 维度 | FP4 | FP8 | INT4 |
|---|---|---|---|
| 位宽 | 4位 | 8位 | 4位 |
| 数值结构 | 浮点,通常E2M1 | 浮点 | 定点或整数 |
| 动态范围 | 较窄 | 优于FP4 | 取决于量化映射 |
| 精度分布 | 不均匀,随数量级变化 | 相对更平衡 | 通常较均匀 |
| 典型用途 | 高吞吐推理、训练探索 | 成熟低精度推理 | 已有整数量化链路 |
| 软硬件依赖 | 需要专门硬件与框架支持 | 支持面更广 | 取决于整数加速单元 |
选择时可以遵循以下判断:
上线FP4前,建议按以下清单执行:
常见错误包括:只比较原始位宽而忽略缩放因子开销、直接使用未经校准的FP4、把INT4的均匀量化经验套用到FP4、以及在精度敏感任务中强行启用FP4。
FP4是一种以E2M1位分配为核心的4位浮点格式。它通过缩放因子、块级量化和高精度累加,在严格受控的场景中提高计算密度与吞吐效率。理解FP4的关键,是把它看作需要工程配套的硬件能力,而不是通用数据类型。选型时应结合硬件支持、精度评估、校准策略和回退方案,才能安全地释放低精度计算带来的性能收益。