在大模型参数规模突破数千亿的今天，内存与算力成本成为制约部署的核心瓶颈。FP4（4 位浮点）作为极低精度量化的前沿方案，正在从学术研究走向硬件落地。本文将从量化策略、格式设计与硬件实现三个维度，系统阐述在极低精度下维持数值稳定性的工程化方法。
FP4 格式选择：E2M1 为何成为事实标准
4 位浮点数的总比特数为 4，其中 1 位用于符号位，剩余 3 位需要在指数与尾数之间分配。根据 John D. Cook 博客对 FP4 格式的详尽分析，理论上存在四种组合：E3M0、E2M1、E1M2 和 E0M3。其中 E 表示指数位（Exponent）数量，M 表示尾数位（Mantissa）数量。指数与尾数的分配比例直接决定了格式的动态范围与数值精度特性 ——E3M0 全为指数，在对数尺度上均匀分布；E0M3 全为尾数，在线性尺度上均匀分布；而 E2M1 与 E1M2 则介于两者之间，呈现出不均匀的数值分布。
在当前的硬件生态中，E2M1 已成为事实标准。这不仅因为它在动态范围与量化误差之间取得了较好的平衡，更关键的是 NVIDIA 在其 Blackwell 架构的 NVFP4 中原生支持了该格式。根据 Hugging Face 博客对 INT4 与 FP4 的对比研究，E2M1 格式能够表示的数值范围为 - 6 至 + 6（包含正负零），步长从 0.5 到 2 不等。具体而言，以 E2M1 格式编码的 4 位浮点数，其数值为 (−1)^s × 2^(e−b) × (1 + m/2)，其中 b 为偏置值（通常取 1），e 为 2 位指数，m 为 1 位尾数。这一公式在 e 等于零时存在特殊处理：m 为零表示零，m 为一表示 0.5。
块级缩放：突破 FP4 动态范围限制的核心技术
单纯依赖 FP4 的原生格式，难以覆盖大模型权重与激活值的完整分布。FP4 的动态范围极为有限 —— 以 E2M1 为例，其绝对值上限仅为 6，而现代大模型的权重分布通常跨越数个数量级。为解决这一矛盾，块级缩放（Block Scaling）技术应运而生。
根据 NVIDIA 开发者博客对 NVFP4 的介绍，块级缩放的核心思想是将 16 个连续的 FP4 数值划分为一个区块（block），共享一个缩放因子（scale factor）。该缩放因子通常以 E4M3 格式（4 位指数加 3 位尾数）存储，相比 FP4 本身拥有更宽的动态范围。在实际部署中，每个 FP4 区块首先被反量化回高精度值，乘以缩放因子后再参与后续计算。这种两级表示方法在理论上实现了 “FP4 的存储与计算效率 + E4M3 的动态范围” 的组合优势。
值得注意的是，NVFP4 进一步支持 “区块级缩放 + 张量级缩放” 的双层结构。张量级缩放因子以 FP32 格式存储，用于处理跨区块的整体数值偏移。这种设计使得 FP4 可以逼近更高精度格式（如 BF16）的模型精度，同时将内存占用降低至后者的四分之一。根据 arXiv 上关于 FP4 全量化训练的最新研究，采用 16 元素区块配合 E4M3 缩放因子，是当前最稳健的工程默认配置。
量化噪声与梯度稳定性
FP4 量化引入的量化噪声会在训练过程中与梯度发生复杂交互。NeurIPS 2020 年发表的研究论文《Ultra-Low Precision 4-bit Training of Deep Neural Networks》指出，当量化噪声幅度超过梯度信号本身时，训练收敛会出现显著退化。这一现象在极低精度训练中尤为突出，因为 FP4 的量化误差可能达到原始数值的数十个百分点。
为缓解这一问题，业界普遍采用 “分阶段舍入策略”。具体而言，前向传播采用 Round-to-Nearest（RtN）舍入，以保证推理结果的可重复性；而反向传播与参数更新阶段则采用随机舍入（Stochastic Rounding），通过引入受控的随机性使量化误差在统计意义上相互抵消。根据 arXiv 上关于量化感知训练的研究，这种非对称的舍入策略能够显著提升 FP4 训练的数值稳定性，其效果在梯度范数较小时尤为明显。
在实际工程中，建议监控以下指标以确保训练稳定：梯度范数应始终保持在量化噪声阈值的某个倍数以上（通常建议 3 至 5 倍）；当梯度范数骤降时，应考虑临时切换至 BF16 进行补偿计算。此外，学习率调度也需相应调整 ——FP4 训练的稳定学习率通常比 BF16 训练低一个数量级，以避免量化误差累积导致的权重发散。
硬件实现路径：从模拟到落地的关键考量
在硬件层面实现 FP4 计算，需要重新设计乘加运算单元（MAC Unit）。传统的高精度 MAC 单元无法直接处理 FP4 输入，通常需要增加预缩放与反量化逻辑。根据 Emergent Mind 对 NVIDIA FP4 量化算法的解析，FP4 MAC 的基本流程如下：FP4 输入首先与区块缩放因子相乘，得到临时的高精度乘积；多个乘积进行累加时，需在 FP16 或 FP32 累加器中完成，以防止中间结果溢出；最终输出可选择以 FP4 格式写回或保持高精度格式。
NVIDIA 的 NVFP4 实现采用了 “细粒度块缩放 + 可选张量缩放” 的混合架构，其硬件原生支持使得 FP4 推理的吞吐量相比 FP16 提升近 4 倍，同时将内存带宽需求降低至原来的四分之一。这一设计对于部署数百亿参数的大模型具有直接吸引力 —— 以 1000 亿参数的模型为例，使用 FP4 存储可将权重内存从约 200GB 压缩至约 50GB，使得单卡推理成为可能。
对于计划自研 FP4 硬件的团队，建议从以下参数起步：采用 16 元素区块划分，缩放因子采用 E4M3 格式存储；MAC 单元的累加器位宽不低于 FP16（16 位），推荐使用 FP32 作为累加器以获得更高的数值余量；前向传播延迟控制在 4 至 6 个时钟周期，随机舍入逻辑需额外占用 1 至 2 个周期。在验证阶段，建议在真实模型（如 LLaMA-7B 量级）上测试端到端精度损失，确保其控制在 0.5% 以内。
工程实践清单与监控阈值
综合上述分析，以下是 FP4 量化落地的关键工程参数与监控要点，可作为实际项目的检查清单：
区块大小建议设为 16 元素，这是当前 FP4 文献与硬件实现收敛的最佳实践；缩放因子格式推荐 E4M3，配合可选的 FP32 张量级缩放使用；舍入策略上，前向传播采用 RtN，反向传播与参数更新采用 4-bit 随机舍入；累加器精度不应低于 FP16，推荐使用 FP32 以确保数值余量。
在稳定性监控方面，当梯度范数降至峰值的十分之一以下时，需触发预警并考虑切换至更高精度；每 1000 步应记录一次权重的 FP4 表示覆盖率，若低于 70% 说明动态范围配置可能需要调整；模型精度损失超过预设阈值（通常为 0.5% 至 1%）时，应启动回滚机制并重新校准缩放因子。
FP4 极低精度量化正在从理论走向工程成熟。随着 NVIDIA NVFP4 等硬件原生支持的普及，以及块级缩放、随机舍入等关键技术的完善，4 位浮点有望在未来两年内成为大模型推理的事实标准格式。掌握上述量化策略与实现路径，将为后续的模型部署与优化奠定坚实基础。
资料来源：本文关于 FP4 格式定义与数值表参考 John D. Cook 博客对 4 位浮点的技术分析，块级缩放与 NVFP4 硬件实现细节参考 NVIDIA 开发者博客及相关 arXiv 论文。