在大语言模型量化实践中，激活值异常值（Outlier）处理一直是影响量化精度的核心挑战。与权重量化不同，激活值的分布随输入数据动态变化，且存在少数通道或 Token 的幅度远超其他维度的情况，这会导致整体缩放因子（Scale）被极端值拉大，进而降低普通数值的量化精度。Intel Neural Compressor 作为业界领先的量化工具链，针对这一难题提供了系统性的解决方案，本文将聚焦激活值缩放策略、异常值检测阈值设计以及动态量化精度恢复三个维度进行深度解析。
激活值量化的基本困境与解决思路
理解激活值异常值问题，首先需要回顾量化数学原理。对于任意浮点张量 X，其量化过程可以表示为 X_int8 = round (X_fp32 / S) + Z，其中 S 为缩放因子，Z 为零点（Zero Point）。当采用 per-tensor 粒度时，整个张量共享同一个缩放因子，这意味着最大绝对值决定了 S 的取值。问题在于，大语言模型中某些特定层的激活值存在系统性异常 —— 例如 Attention 输出、FFN 第一层激活等位置，个别通道的数值可能超出平均值数个数量级。如果为容纳这些异常值而放大 S，则大量正常通道的量化误差将显著增加，反之则会导致异常值截断。
Intel 官方文档指出，激活值量化的核心矛盾在于：per-channel 量化能够有效降低单点量化误差，但由于去量化（Dequantization）过程难以正确处理输出结果，这种更精细的粒度在激活值上几乎无法直接应用。解决思路是将激活值的量化难度转移至权重端，同时保持输出等价性 —— 这正是 SmoothQuant 系列方法的核心思想。SmoothQuant 通过数学变换，将激活值的 per-channel 缩放 “迁移” 到权重上，使权重承担更多的量化困难，从而缓解激活值的精度损失。
激活值缩放策略：SmoothQuant 的 α 参数工程
SmoothQuant 引入了 α 参数作为平衡因子，其计算公式为 s_j = max (|X_j|)^α /max (|W_j|)^(1-α)，其中 j 为输入通道索引。这一公式的物理含义是：根据激活值与权重的异常程度动态分配量化难度。α 越大，更多困难被转移至权重；α 越小，激活值保留更多原始分布。Intel Neural Compressor 的文档表明，对于 OPT、Bloom 等主流模型，α=0.5 是一个均衡值；对于异常值更显著的网络，可以增大 α 以将更多压力转移至权重端。
在实际工程中，Intel 提供了 α 的自动调优机制。该机制包含八个核心步骤：首先通过 register_forward_hook 钩子捕获待平滑层的输入最小最大值；然后定位可执行 SmoothQuant 的层列表；接着在用户定义的 α 范围内生成候选值并设置默认值；使用默认 α 计算平滑因子并调整参数，对调整后的模型进行前向传播；执行权重的 per-channel 量化和激活的 per-tensor 量化以预测输出；计算各 α 值对应的层级别或块级别损失；对 LayerNorm 操作应用准则以获得单个输入样本的最优 α；最后遍历多个输入样本保存最优 α 值。实验表明，α 范围设为 [0.0, 1.0]、步长为 0.1 是一个有效配置，可覆盖大多数模型的搜索空间。
异常值检测阈值设计实践
在阈值设计层面，异常值检测通常基于统计分布特征。常见的检测策略包括三种：第一种是绝对值阈值法，即设定一个固定的绝对值上限（如 8 倍或 10 倍标准差），超过该值的通道视为异常；第二种是分位数阈值法，计算激活值分布的特定分位数（如 99% 分位）并将其作为阈值参考；第三种是动态阈值法，结合模型结构特点，针对特定层（如 LayerNorm 后、Attention 输出）设置针对性阈值。
Intel Neural Compressor 的实现在于，当检测到异常值时，会自动触发平滑因子计算，将异常通道的缩放压力通过数学等价变换转移至权重。具体而言，如果某个输入通道的 max (|X_j|) 远大于整体均值，系统会计算一个较大的平滑因子 s_j，使得调整后的权重承担更多量化噪声。阈值的选择直接影响平滑效果：如果阈值过低，大量正常通道会被误判为异常，导致权重端过载；如果阈值过高，异常值无法被充分处理，激活端量化误差仍然显著。建议的工程实践是先使用 α=0.5 的默认配置进行基准测试，再根据量化精度损失情况将 α 调整至 0.6 至 0.8 之间，以处理更激进的异常值场景。
动态量化精度恢复机制
动态量化精度恢复（Dynamic Precision Recovery）是 Intel Neural Compressor 在量化失败时的回滚策略。其核心逻辑是：当量化后的模型精度下降超过预设阈值时，系统能够自动识别影响最大的算子，并将这些算子从低精度（如 INT8、INT4）回退至更高精度（如 FP32 或 BF16），以恢复模型 fidelity。
在实现层面，精度恢复依赖于两个关键配置：AccuracyCriterion（精度准则）和 TuningStrategy（调优策略）。AccuracyCriterion 用于定义可容忍的精度损失，包括 tolerable_loss（损失阈值）和 criterion（相对或绝对准则）两个参数。例如，设置 tolerable_loss=0.02、criterion=relative 意味着量化后模型的精度下降不超过 2%。TuningStrategy 则控制搜索过程，HAWQ_V2 等策略会根据算子的海森矩阵（Hessian）影响力评分，优先保留高影响力算子的精度。动态量化流程会首先尝试将尽可能多的算子转为低精度，然后根据精度评估结果迭代回退，直至满足精度准则或达到最大尝试次数。
对于工程实现，建议的配置路径如下：第一步选择 Post-Training Dynamic Quantization 作为量化类型；第二步设置 AccuracyCriterion，将 tolerable_loss 设为 0.01 至 0.1 之间（具体取决于业务对精度的容忍度）；第三步配置 TuningCriterion 中的 max_trials 参数，限制最大探索轮次；第四步运行量化并监控日志，观察哪些算子被回退至高精度。最后根据回退算子的层位置，分析是否存在系统性异常（如特定层的激活值分布异常），针对性调整 SmoothQuant 的 α 参数或启用层级别的独立配置。
工程落地的关键参数清单
综合上述分析，Intel LLM 量化中激活值异常值处理的工程参数可归纳为以下清单。平滑因子 α 的默认值建议设为 0.5，取值范围覆盖 0.0 至 1.0，步长推荐 0.1；自动调优时可启用 block_wise 模式使同一块内的层共享 α 值。异常值检测方面，针对 LayerNorm 后激活建议使用动态阈值法，阈值可设为该层激活最大值的 10% 至 30%；针对 Attention 输出建议采用分位数阈值，取 99% 分位数作为参考。精度恢复方面，tolerable_loss 的建议范围为 0.01 至 0.02（高精度场景）或 0.05 至 0.1（低延迟场景），max_trials 建议设为 20 至 50 次，策略选择上高精度场景推荐 HAWK_V2、延迟优先场景推荐 Basic。
需要特别指出的是，不同模型家族的异常值分布存在显著差异。OPT 系列模型的异常值主要集中在前几层和 Attention 模块，Bloom 系列则呈现更均匀的分布特征。因此，在生产环境中部署量化模型时，建议建立基准测试集，针对每个模型家族进行 α 参数的独立调优，而非简单套用通用配置。
资料来源：Intel Neural Compressor 官方文档（https://intel.github.io/neural-compressor/latest/docs/source/smooth_quant.html）