图像恢复任务面临一个根本性矛盾：不同退化类型（去雨、去雾、去模糊、低光增强等）具有各异的物理成因和视觉特征，却难以用单一架构统一处理。传统方法要么针对特定任务定制网络，要么在纯空间域内堆叠自注意力模块，导致参数量与计算成本急剧上升。SFHformer（又称 Fourmer）提出的双域混合架构，通过将 Fast Fourier Transform（FFT）机制融入 Transformer，为这一困境提供了新的解题思路。
双域分工：空间局部与频域全局的互补
SFHformer 的核心洞察在于：自然图像的退化现象在频域上呈现可辨识的分布规律。高频分量往往对应细节纹理的丢失或噪声干扰，低频分量则反映整体对比度和光照变化。基于此，作者设计了空间 - 频域双分支结构—— 空间域分支通过标准卷积和局部自注意力捕获细粒度细节，频域分支则利用 FFT 将特征映射到频域，在频谱空间进行全局建模。
这种分工并非简单的并行拼接，而是基于感受野的层次化协作。空间域专注于局部邻域（通常 3×3 或 5×5 窗口）的像素级关系，适合处理边缘锐化和纹理恢复；频域通过 FFT 天然具备全局感受野，能够捕捉长距离的结构一致性和光照分布。两者在多尺度层级上交替融合，形成从局部到全局的渐进式特征提取流水线。
FFT-Transformer 融合：频域动态卷积与位置编码
将 FFT 嵌入 Transformer 的关键挑战在于：频域特征缺乏空间位置信息，且不同频率分量的重要性随输入变化。SFHformer 为此设计了两个核心组件。
频域动态卷积（Frequency Dynamic Convolution） 对每个频率通道学习自适应的卷积核权重。与传统卷积的固定参数不同，动态卷积根据输入特征的频谱分布实时生成卷积核，使得网络能够针对不同程度的退化（如薄雾 vs 浓雾、小雨 vs 暴雨）调整频域滤波策略。这种机制避免了手工设计频域先验的局限性，同时保持了卷积操作的高效性。
频域位置编码（Frequency Positional Encoding） 解决了 FFT 后位置信息丢失的问题。由于 FFT 将空间域的平移不变性转化为频域的相位变化，作者设计了与频率分量对应的可学习位置编码，使模型能够区分不同空间区域在频域中的表示。这一设计在超分辨率和去模糊任务中尤为重要，因为像素级对齐对恢复精度影响显著。
工程实现：多任务训练与参数效率
SFHformer 在工程层面的一个亮点是其跨任务通用性。在 31 个数据集、10 种恢复任务（包括去雨、去雾、去雪、去噪、运动去模糊、散焦去模糊、雨滴去除、低光增强、水下增强、超分辨率）的实验中，单一架构无需任务特定的结构调整即可达到或超越专用模型的性能。这种通用性得益于频域先验对退化类型的 "解耦" 能力 —— 不同退化在频域的表征差异比空间域更具判别性。
参数效率方面，双域混合架构通过频域全局建模减少了对深层堆叠自注意力的依赖。实验表明，在相近参数量下，SFHformer 的计算复杂度（FLOPs）显著低于纯 Transformer 基线。这对于边缘设备部署具有实际意义：图像恢复模型常被用于手机拍照后处理、实时视频增强等场景，推理延迟和内存占用是关键约束。
局限与落地考量
尽管双域架构具有理论吸引力，实际部署仍需权衡若干因素。FFT 运算在 GPU 上虽可通过 cuFFT 等库高效实现，但与标准卷积相比仍存在额外的内存拷贝和变换开销。对于高分辨率输入（如 4K 图像），频域分支的显存占用可能成为瓶颈，需要采用 patch-wise 处理或渐进式上采样策略。
此外，频域先验的有效性依赖于退化类型是否具备明显的频谱特征。对于某些空间域主导的退化（如局部遮挡、非均匀噪声），纯空间域方法可能更直接。建议在实际项目中先进行频谱分析，确认退化信号在频域的可分离性后再引入此类混合架构。
总结
SFHformer 展示了信号处理经典工具（FFT）与深度学习前沿架构（Transformer）融合的可能性。其核心启示在于：全局建模不必依赖昂贵的自注意力堆叠，频域变换提供了一条计算效率更高的路径。对于需要处理多种退化类型的图像恢复系统，双域混合架构提供了一个值得尝试的基线方案 —— 空间域保细节、频域抓全局，二者协同实现效率与性能的平衡。
参考来源
- GitHub: https://github.com/deng-ai-lab/SFHformer
- Paper: Jiang et al., "When Fast Fourier Transform Meets Transformer for Image Restoration", ECCV 2024
内容声明：本文无广告投放、无付费植入。
如有事实性问题，欢迎发送勘误至 i@hotdrydog.com。