当我们审视训练大语言模型与加密数据这两个看似截然不同的任务时，底层算法呈现出惊人的结构相似性。这种相似性并非偶然的借鉴，而是源于两类问题在数学本质上的共同约束 —— 弱正确性需求、对复杂混合的高要求以及对硬件性能的极致追求。理解这种结构同构性，不仅有助于我们从密码学设计中汲取神经网络优化的灵感，更能为下一代安全计算架构提供理论支撑。
序列处理：并行与串行的对偶构造
循环神经网络（Recurrent Neural Network）采用将文本 token 逐个输入循环状态的串行方式处理序列，最终生成输出文本。这一结构与 SHA-3 哈希算法采用的 Sponge 构造高度同构：Sponge 同样是将输入字节逐一吸收到内部状态，再从状态中挤压出哈希输出。从信息论角度看，两种方法都需要将可变长度输入映射为固定大小状态，而顺序吸收是一种自然且高效的选择。
然而现代硬件从指令级到计算单元均为并行化设计，串行吸收会造成严重的性能浪费。神经网络与密码学领域不约而同地发现了同一解决方案：将代价高昂的变换函数并行应用于所有数据块，随后通过简单加法合并结果。这种构造丢失了原始顺序信息，因此两者都通过添加位置编码来恢复顺序信息。在神经网络中，这种构造推动了 Transformer 架构的诞生，显著超越了传统循环神经网络的并行处理能力；在密码学领域，这一构造已成为最快的消息认证码（MAC）的核心，包括 Protected Counter Sum、Farfalle 以及 GMAC 和 Poly1305 等多项式 MAC。
核心原语：线性与非线性层的交替堆叠
剥离变长序列处理的外壳，两类系统的核心函数内部呈现出完全相同的模式：线性变换、非线性变换、重复。这种交替结构并非设计者的随意选择，而是经过深思熟虑的工程优化。
线性变换提供不同向量位置之间的「混合」，使得多个向量元素能够相互影响，这是实现信息充分扩散的数学基础。没有非线性变换，整个层级堆叠将退化为单一的线性变换，失去表达能力。两类领域都选择将这种简单结构重复多次，而非精心设计复杂的单次结构。这种做法将研究与工程努力聚焦于单一层级类型，既简化了分析过程，也便于在软件和硬件层面进行优化。从实现角度看，仅需约二十行代码即可完成核心逻辑，这种简洁性直接支撑了超过五十个 SHA-3 候选方案和数百种注意力机制变体的快速迭代实验。
行与列的高效交替混合
进一步深入细节，两类系统都将状态组织为网格结构，并在行混合与列混合之间交替操作。在神经网络中，注意力机制负责混合不同序列位置（行维度），而前馈网络则在每个位置内部进行混合（列维度）。在 AES 加密算法中，ShiftRows 步骤跨列进行置换，MixColumns 步骤则在列内进行组合。ChaCha20 密码采用对角线混合方式，本质上是行与列交替的变体。
这种分解策略通常优于一次性混合整个状态。在渐近复杂度上，当混合步骤复杂度高于线性时，分步混合具有明显优势 —— 例如在二次方复杂度下，混合 n 行 m 列状态的分步成本为 O (nm²)，而全矩阵混合为 O (n²m²)。更重要的是，分步混合使每行能够独立处理，工作集更小，并行度更高，更有利于缓存和寄存器优化。
相似性根源：三类共同约束
这种结构同源现象的根源在于两类问题共享的三项关键约束。首先是弱正确性需求：大多数算法面临严格的正确性要求 —— 编译器必须保留程序语义，数据库必须精确返回存储内容，网络路由必须交付数据包。相比之下，密码学仅需保证可逆性以避免信息丢失，神经网络仅需保证可微性以支持梯度下降。这种自由度使得构建逆变函数或可微函数变得简单 —— 只需将较小的可逆或可微函数组合即可。
其次是复杂度与混合的质量要求：密码学要求每个输出位以复杂方式依赖于每个输入位，神经网络要求输出充分利用所有输入信息。两种需求都奖励那些允许状态各部分相互交互的设计，这正是重复混合层级的核心动机 —— 信息必须在位置之间流动多次，形成丰富的相互依赖。
第三是对性能异乎寻常的重视：加密的普遍性和神经网络的巨大规模带来了经济压力，要求在低级硬件层面进行优化，包括汇编实现和定制硬件。这种性能导向奖励简单算法，使汇编实现和定制硬件变得可行，同时也奖励我们看到的各个层面的并行性 —— 顶层的并行序列处理、中层的行列交替混合器，以及底层的易并行化线性代数。
权重矩阵与 S-Box 的数学关联
从结构同构进一步深入到具体组件，神经网络的权重矩阵与密码学中的 S-Box（替换盒）存在数学层面的映射关系。S-Box 是对称加密中的非线性双射，用于模糊输入与输出位之间的关系，是抵御线性密码分析和差分密码分析的关键组件。神经网络的权重矩阵则定义了输入向量到输出向量的线性映射，配合激活函数实现非线性变换。
两者的核心关联在于：训练后的神经网络权重可以定义类似 S-Box 的非线性映射，研究者已尝试利用这一特性构建具有密码学性质的替换结构。通过分析网络的 Jacobian 或代数形式，可以评估双射性、非线性度和雪崩效应等密码学指标。这种关联催生了动态 S-Box 的研究方向 —— 基于密钥或内部状态改变替换规则，其中神经网络启发的方案能够适应种子或内部状态的变化，为抗建模攻击提供新思路。
工程启示与实践要点
这种结构同源为工程实践提供了明确的设计原则。在架构层面，应采用线性与非线性交替的堆叠结构，利用 GPU 和专用硬件的并行能力；在混合策略上，采用行与列的交替混合代替全量混合，既能提升并行度又能优化缓存命中率；在模块设计上，追求极简的单一原语，通过重复堆叠实现复杂功能，而非设计复杂的单次结构。
从密码学汲取的已有实践包括：RevNets 将密码学的 Feistel 网络引入神经网络，实现可逆层以节省内存；Column Parity Mixer 等新型混合器正在探索更高效的交互模式；「非对齐混合器」等概念已在密码学中出现，可能反向输入神经网络设计。这些跨领域的思想迁移印证了深层结构同源性的实用价值。
资料来源：本文核心事实与框架参考自 reiner.org 关于神经网络与密码学相似性的分析，该文系统梳理了两类系统在序列处理、层级结构和混合策略上的结构对偶，并指出弱正确性约束、复杂度需求和性能导向是驱动趋同的三大根源。