在神经网络理论中，Sigmoid 激活函数长期被视为 Heaviside 阶跃函数的可微分替代品。然而，当我们将目光从「能否近似」转向「如何高效近似」时，一个令人不安的结论浮现出来：对于精确逼近阶跃函数这一基本任务，单隐藏层 Sigmoid 网络所需的宽度会随着精度要求呈多项式甚至指数增长，使得这类方法在实际部署中变得不可接受。本文将从几何误差下界与收敛速度两个维度，系统论证这一结论的内在机理。
从阶跃函数到 Sigmoid 的基本建模
设 Heaviside 阶跃函数为 $H (x)$，其在 $x = 0$ 处产生从 0 到 1 的突变。这一突变正是神经网络实现决策边界的数学基础。然而，$H (x)$ 在 $x = 0$ 处不可微，无法通过梯度下降法训练。因此，经典做法是引入参数化的 Sigmoid 函数：
$$\sigma_k(x) = \frac{1}{1 + e^{-k \cdot x}}$$
其中参数 $k > 0$ 控制 Sigmoid 的陡峭程度。直观上，当 $k \to \infty$ 时，$\sigma_k (x)$ 在 $x = 0$ 处的过渡区将无限收窄，函数形态趋近于 $H (x)$。这一观察构成了用 Sigmoid 逼近阶跃函数的理论基础 —— 但正是这一「趋近」过程的效率问题，揭示了 Shallow 网络的根本局限。
几何误差的量化下界
从几何角度看，Sigmoid 对阶跃函数的逼近误差可以从两个层面分析。在一维情形下，对于均匀分布于 $[-a, a]$ 区间的输入点，逼近误差的均匀范数定义为：
$$E(\sigma_k, H) = \sup_{x \in [-a, a]} |\sigma_k(x) - H(x)|$$
当 $|x| \geq \delta$（$\delta$ 为过渡区外的安全距离）时，Sigmoid 的输出已非常接近其极限值。具体而言：
$$\sigma_k(\delta) = \frac{1}{1 + e^{-k\delta}} \geq 1 - e^{-k\delta}$$
这意味着在 $|x| \geq \delta$ 处，误差上界为 $e^{-k\delta}$。然而，在过渡区 $|x| < \delta$ 内，Sigmoid 与阶跃函数的偏差在量级上为 $O (1)$—— 无论 $k$ 多大，过渡区内的最大偏差始终约为 $0.5$。
这一现象揭示了关键的几何约束：Sigmoid 的过渡区宽度与陡峭程度呈反比。具体而言，为将过渡区宽度从 $w_1$ 压缩至 $w_2$，需要将 $k$ 放大 $w_1 /w_2$ 倍，但过渡区内的最大偏差保持在 $0.5$ 左右。这意味着单个 Sigmoid 单元无法同时满足「过渡锐利」与「全局精确」两个目标。
宽度需求的收敛速度分析
为克服单个 Sigmoid 的局限，理论研究者转向有限宽度下的线性组合逼近。设单隐藏层网络包含 $N$ 个 Sigmoid 单元：
$$f_N(x) = \sum_{i=1}^{N} w_i \sigma_k(x - c_i) + b$$
其中 $c_i$ 为各单元的中心位置，$w_i$ 为输出层权重。通过精心设计权重与中心位置，可以将多个「软台阶」叠加为更锐利的阶梯函数。
然而，关键问题在于：为达到指定的全局逼近精度 $\epsilon$，所需的单元数 $N$ 与 $\epsilon$ 之间满足何种关系？
从一维情形出发，将 $[-a, a]$ 区间划分为 $M$ 个等长子区间，每个子区间长度为 $2a/M$。为在每个子区间内将误差控制在 $\epsilon$ 以内，需要在区间边界处布置足够密集的 Sigmoid 过渡。粗略估计表明：
$$N = \Theta\left(\frac{a}{\delta(\epsilon)}\right)$$
其中 $\delta (\epsilon)$ 为达到精度 $\epsilon$ 所需的过渡区宽度。从误差上界分析可得 $\delta (\epsilon) = \Theta (\frac {1}{k} \ln (\frac {1}{\epsilon}))$。代入后得到：
$$N = \Theta\left(\frac{a k}{\ln(1/\epsilon)}\right)$$
这一结果看似线性 —— 但实际应用中存在一个隐藏的陷阱：$k$ 不能任意增大。当 $k$ 过大时，Sigmoid 的梯度 $\sigma_k'(0) = k/4$ 将趋近于零，导致反向传播中的梯度消失问题。实践中，$k$ 通常被限制在 $[1, 10]$ 范围内，这意味着在固定 $k$ 下，宽度需求与 $1/\epsilon$ 成正比。
高维情形的维度灾难
上述一维分析已揭示宽度需求的量级，而在高维情形中，问题急剧恶化。考虑 $d$ 维输入空间中的超矩形指示函数：
$$\mathbf{1}{[\mathbf{a}, \mathbf{b})}(\mathbf{x}) = \prod{j=1}^{d} H(x_j - a_j) \cdot H(b_j - x_j)$$
该函数的支撑集为 $d$ 维超立方体，其边界由 $2d$ 个超平面组成。用 Sigmoid 网络逼近这一函数时，需要在每个维度上独立控制过渡，宽度需求呈指数级增长。
具体而言，为将每个维度的过渡区宽度控制在 $\delta$，需要在每个维度上放置 $\Theta (a/\delta)$ 个 Sigmoid 单元。由于各维度的构造需联合优化，整体宽度需求为：
$$N = \Theta\left(\left(\frac{a}{\delta}\right)^d\right)$$
将 $\delta = \Theta (\ln (1/\epsilon)/k)$ 代入，得到：
$$N = \Theta\left(\left(\frac{a k}{\ln(1/\epsilon)}\right)^d\right)$$
这正是维度灾难在逼近理论中的体现。对于 $d=10$ 的常见高维问题，即便 $\epsilon = 0.01$，所需的宽度仍可能达到 $10^{10}$ 量级 —— 远超任何实际硬件的承载能力。
Shallow 网络的不可承受之重
综合以上分析，我们可以总结 Shallow Sigmoid 网络逼近阶跃函数的三重不可承受之重：
精度 - 宽度权衡的指数依赖：为将精度从 $\epsilon_1$ 提升至 $\epsilon_2$（比如从 $10^{-2}$ 到 $10^{-6}$），所需宽度增长约 $400$ 倍。这种二次型依赖使得高精度逼近在实际中几乎不可能实现。
维度灾难的结构性约束：$d$ 维问题所需的宽度增长率为 $O ((1/\ln (1/\epsilon))^d)$。当维度增加时，宽度需求呈指数爆炸，完全抵消了增加计算资源的努力。
数值稳定性的人为限制：增大 $k$ 虽然可以在理论上压缩过渡区，但同时会加剧梯度消失问题。实际部署中 $k$ 的取值窗口极为狭窄，进一步限制了逼近效率。
从理论到实践的桥梁
上述理论结果并不意味着 Sigmoid 网络完全无法使用。在以下场景中，Shallow Sigmoid 网络仍有其用武之地：
对于低维问题（$d \leq 3$）且精度要求不高（$\epsilon \geq 10^{-2}$）的场景，适当的宽度配置（如 $N = 50$ 至 $200$ 个单元）可以提供可接受的逼近效果。这类场景包括一维函数逼近、二维决策边界可视化等教学或原型验证目的。
对于与 ReLU 或其他分段线性激活函数混合使用的场景，可以将 Sigmoid 用于特定的概率输出层，同时依赖 ReLU 处理主要的函数逼近任务。这种异构架构在一定程度上规避了纯 Sigmoid 网络的效率瓶颈。
然而，当任务涉及高维输入、严苛精度要求或实时部署约束时，本文分析明确指向一个结论：纯 Shallow Sigmoid 架构不是阶跃函数逼近的正确选择。
结论
Sigmoid 函数作为阶跃函数的可微分近似，其逼近效率受到几何误差下界、收敛速度与维度灾难的三重制约。在 Shallow 网络框架下，为达到实用精度的宽度需求在实际部署中不可承受。这一发现不仅是对 Sigmoid 激活函数的理论澄清，也为现代神经网络架构设计提供了重要的先验约束 —— 深度网络中的层级组合、跳跃连接等设计，恰恰是对抗这一效率瓶颈的工程化回应。
资料来源：本文分析综合了深度神经网络逼近理论中关于 Sigmoid 激活函数的基础性研究，参考了关于神经网络分片常数逼近的理论工作。详细内容可见 arXiv:2010.04596 及相关逼近理论文献。
内容声明：本文无广告投放、无付费植入。
如有事实性问题，欢迎发送勘误至 i@hotdrydog.com。