在机器学习推理引擎中，激活函数的计算效率直接影响端到端延迟。tanh（双曲正切）作为经典非线性激活函数，其标准库实现基于浮点运算，计算开销在高频调用场景下不可忽视。本文系统梳理当前主流的 tanh 快速近似方案，为工程实践提供可量化的选型依据。
问题背景与优化动机
tanh 函数将任意实数映射到（-1, 1）区间，天然具备输出有界的特性，广泛用于神经网络隐层激活与音频信号处理中的软削波。然而，标准库实现通常追求数学精度，采用迭代多项式或查表插值，在资源受限的推理环境中显得过于昂贵。以典型 Transformer 模型为例，单次前向传播可能需要评估数万次 tanh，累积的计算量相当可观。
优化动机可归结为三点：首先是降低算力开销，用简单算术替代复杂 transcendental 计算；其次是提升缓存友好性，小型查找表或紧凑多项式更易于 SIMD 加速；最后是满足确定性延迟需求，近似方法的执行时间通常更为可控。
泰勒展开：轻量级多项式近似
泰勒级数是最直观的近似手段，通过在零点展开为无穷级数，取前若干项实现截断近似。以下 Rust 实现展示了截断至六次项的方案：
pub fn tanhf(x: f32) -> f32 {
if x.abs() > 1.365 {
return 1f32.copysign(x);
}
let t1 = x;
let t2 = x.powi(3) * (1. / 3.);
let t3 = x.powi(5) * (2. / 15.);
let t4 = x.powi(7) * (17. / 315.);
let t5 = x.powi(9) * (62. / 2835.);
let t6 = x.powi(11) * (1382. / 155925.);
t1 - t2 + t3 - t4 + t5 - t6
}
该方案的核心工程参数是截断阈值。当 | x | 超过约 1.365 时，多项式在尾部快速发散，因此直接返回符号化的饱和值。泰勒展开的优点是实现简洁、代码体积小；缺点是有效区间窄（仅覆盖约 ±1.4），且误差随 | x | 增大而急剧上升。适用于对精度要求不高、输入分布集中于零附近的场景。
Padé 近似：分子分母多项式策略
Padé 近似将函数表示为两个多项式之比，相比同阶泰勒展开能显著提升精度。JUCE 框架的 FastMathApproximations 中采用了 [7/6] 阶 Padé 近似，以下为 Rust 移植版本：
pub fn tanhf(x: f32) -> f32 {
if x.abs() > 5. {
return 1f32.copysign(x);
}
let x2 = x * x;
let numerator = x * (135135. + x2 * (17325. + x2 * (378. + x2)));
let denominator = 135135. + x2 * (62370. + x2 * (3150. + 28. * x2));
numerator / denominator
}
该方法的工程要点包括：输入饱和阈值设为 5.0，可覆盖绝大多数实际输入范围；需要一次浮点除法运算，在不支持硬件除法的嵌入式场景需评估性能影响。Padé 近似在 ±5 区间内误差通常低于 10⁻³ 量级，适合中等精度需求的推理场景。
分段样条：精度与速度的折中之选
样条方法将函数定义域划分为若干子区间，在每个子区间上独立拟合低阶多项式。Simos 等人于 2021 年提出的三段三次样条方案将 [0, 18] 区间划分为三个子区间：
pub fn tanhf3(xin: f32) -> f32 {
const N1: f32 = 0.371025186672900;
const N2: f32 = 2.572153900248530;
const N3: f32 = 18.;
match xin.abs() {
x if x <= N1 => {
-3.695076086125492e-1 * x.powi(3)
+ 1.987219343897867e-2 * x.powi(2) + x
}
x if x <= N2 => {
let n = x - N1;
5.928356367224758e-2 * n.powi(3)
- 3.914176949486042e-1 * n.powi(2)
+ 8.621472609449146e-1 * n
+ 3.548881072496229e-1
}
x if x <= N3 => {
let n = x - N2;
-3.347599023061577e-6 * n.powi(3)
+ 5.456777761558641e-5 * n.powi(2)
+ 7.066442941005233e-4 * n
+ 9.884026213740197e-1
}
_ => 1.,
}.copysign(xin)
}
该方案需要三次乘法与若干加法，但在整个 [-18, 18] 区间保持较高精度。工程实践中可调整分段数量与多项式阶数，平衡精度与运算复杂度。样条方法的显著优势在于可预计算系数表，配合定点运算实现高效推理。
IEEE-754 位操作：K-TanH 与 Schraudolph 算法
K-TanH：查表结合位移
K-TanH 算法由 2019 年论文提出，核心思想是利用浮点数的二进制表示结构，通过小型查找表（512 位）结合整数位移实现极速近似：
pub fn tanhf(x: f32) -> f32 {
const T1: f32 = 0.25;
const T2: f32 = 3.75;
let xa = x.abs();
if xa < T1 { x }
else if xa > T2 { 1f32.copysign(x) }
else {
let x: u32 = x.to_bits();
let mi = (x >> 16) & 0b0111_1111;
let so = x & 0x8000_0000;
let t = (x >> 20) & 0b11_111;
let (et, rt, bt) = unpack(LUT[t as usize]);
let eo = (et as u32) << 23;
let mo = (((mi >> (rt as u32)) as i32 + bt as i32) as u32) << 16;
f32::from_bits(so | eo | mo)
}
}
关键工程参数包括：输入阈值 T1=0.25（小值直接透传）、T2=3.75（大值饱和）；查找表包含 32 个条目，每个条目用 16 位编码三个参数（Et、Rt、Bt）。该算法完全使用整数操作，适合 FPGA 或 ASIC 实现，也易于利用 AVX512 等 SIMD 指令并行化。
Schraudolph 算法：指数近似驱动
Schraudolph 于 1999 年提出利用浮点位编码近似指数函数的技术，核心公式为 i = ay + (b - c)，其中 a、b、c 为预定义常数。通过 tanh (x) = (e^(2x) - 1)/(e^(2x) + 1) 的数学变换，可间接获得 tanh 近似：
pub fn tanhf(x: f32) -> f32 {
let y = expf(2. * x);
(y - 1.) / (y + 1.)
}
2018 年提出的 Schraudolph-NG 变体通过计算 expf (x/2)/expf (-x/2) 实现误差抵消，在几乎不增加运算量的情况下显著提升精度。该方法的优势在于代码极其紧凑，仅涉及整数到位移和浮点除法。
工程选型决策框架
根据实际应用场景，可按以下维度选择合适方案：
| 方案 | 有效输入范围 | 典型误差 | 运算复杂度 | 适用场景 |
|---|---|---|---|---|
| 泰勒展开 (6 项) | ±1.4 | ~10⁻³ | 低 | 输入分布集中于零点 |
| Padé[7/6] | ±5 | ~10⁻³ | 中（含除法） | 通用场景 |
| 三段样条 | ±18 | ~10⁻⁴ | 中 | 高精度需求 |
| K-TanH | ±3.75 | ~10⁻² | 极低（整数操作） | 硬件加速 / 嵌入式 |
| Schraudolph-NG | 较宽 | ~10⁻³ | 低 | 代码精简优先 |
对于量化推理场景，建议在 8 位定点格式下采用查表插值方案，输入缩放因子需根据网络激活值分布标定。验证时应关注端到端精度而非单独激活函数的近似误差，因为网络对各层量化误差的敏感度存在差异。
参考资料
- Tom Schroeder, "Approximating Hyperbolic Tangent", 2026 年 4 月 22 日
- K-TanH: Efficient TanH For Deep Learning, arXiv:1909.07729