GLM 5.2 MoE稀疏专家架构：门控路由与负载均衡的工程实践

引言：MoE 架构的核心挑战

GLM 5.2 作为智谱 AI 最新一代大模型，采用了稀疏混合专家（Mixture-of-Experts, MoE）架构来实现参数规模与计算效率的平衡。在 MoE 架构中，每个 token 仅需激活少量专家（通常为 top-2 或 top-4），而非全量参数，这使得模型能够在保持推理成本可控的前提下，将总参数量扩展至千亿甚至万亿级别。

然而，MoE 架构的核心痛点在于负载均衡：若无有效的平衡机制，路由器往往会收敛到仅使用少数几个专家，导致大量参数闲置，模型容量严重受限。传统解决方案依赖辅助负载均衡损失（Load Balancing Loss, LBL）来鼓励专家使用的均匀分布，但这种方法可能引入专家知识冗余，相似 token 被分散到不同专家处理，反而降低训练效率。

本文从 GLM 5.2 的 MoE 路由机制切入，深入解析从门控算法到负载均衡的完整技术链路，并提供可落地的阈值调参与热点缓解策略。

门控路由算法：从 Top-K 到相似性保持

基础路由机制

GLM 5.2 的门控路由遵循标准的 Token Choice 范式。对于每个输入 token，路由器首先通过线性变换计算各专家的亲和度分数：

s = x · R + b

其中 x 为 token 嵌入，R 为路由器权重矩阵，b 为偏置项。随后通过 softmax 生成概率分布，选择 top-K 专家进行激活。MoE 层的输出为选中专家输出的加权和：

MoE(x) = Σ(r_a · Expert_a(x))

这种稀疏激活机制使得模型总参数量可以远超实际激活参数量，实现 "用少量计算换取大量容量" 的扩展路径。

传统负载均衡损失的局限

经典的 LBL 通过惩罚专家使用的不均衡来稳定训练：

L_LBL = α · E · Σ(f_i · P_i)

其中 f_i 为路由到专家 i 的 token 比例，P_i 为专家 i 的平均路由概率。虽然 LBL 能有效防止路由崩溃，但其强制均匀分布的策略存在明显缺陷：相似 token 可能被分配到不同专家，导致专家知识冗余，训练过程中路由行为不一致。

相似性保持路由（SimBal）

针对 LBL 的局限，最新的 SimBal 方法提出通过保持 token 间关系结构来实现负载均衡。其核心思想是：相似 token 应当被路由到相似的专家分布。SimBal 通过鼓励路由器权重矩阵的正交性来实现这一目标：

L_orth = ||R^T · R - I_E||_1

该损失使路由器的 Gram 矩阵逼近单位矩阵，从而保持 token 间的角度关系。实验表明，SimBal 相比 LBL 可实现 36% 的收敛加速，同时显著降低专家冗余（以 Pairwise Expert Similarity 衡量）。

对于 GLM 5.2 的部署实践，建议在预训练阶段采用 SimBal 替代传统 LBL，系数设置为 0.1 即可获得良好效果，且对 batch size 变化不敏感。

动态专家选择：阈值调参与容量因子

容量因子配置

容量因子（Capacity Factor, CF）是控制专家负载的关键参数，定义每个专家可处理的最大 token 数：

Capacity = CF × (tokens_per_batch / num_experts)

GLM 5.2 的推荐配置如下：

当 token 超过容量限制时，可采用两种处理策略：

• Token 丢弃：超出容量的 token 直接跳过 MoE 层，通过残差连接传递
• 动态重分配：将溢出 token 路由至负载较轻的专家

Top-K 选择策略

GLM 5.2 支持灵活的 top-K 路由配置：

• Top-1 路由：计算开销最小，但专家选择单一，容量压力集中
• Top-2 路由：平衡效率与表达力，GLM 5.2 的默认配置
• Top-K（K>2）：增强模型容量，但通信开销线性增长

实践中建议根据层深度调整 K 值：浅层使用较小的 K（如 1-2）处理基础特征，深层使用较大的 K（如 2-4）捕获复杂模式。

门控温度调节

通过引入温度参数调节门控分布的 "锐度"：

g_i = softmax(s_i / temperature)

• 高温（temp > 1.0）：分布更平滑，鼓励探索多个专家
• 低温（temp < 1.0）：分布更尖锐，强化最优专家选择

建议在训练初期使用较高温度（如 1.2）促进专家多样化，后期降低温度（如 0.8）强化专业化。

专家并行负载均衡：热点缓解与工程实践

专家并行策略

GLM 5.2 采用专家并行（Expert Parallelism）策略，将不同专家分布到不同 GPU 设备。为应对各层专家数量差异导致的负载不均，推荐采用动态并行度调整：

• 专家数量较少的层：使用较高的数据并行度
• 专家数量较多的层：使用较高的专家并行度

确保每个 GPU 在每层恰好处理一个专家，避免部分 GPU 过载而部分空闲的情况。

热点缓解机制

在实际部署中，某些专家可能因特定输入模式而成为 "热点"。GLM 5.2 提供以下缓解策略：

1. 动态偏置调整（Bias-Based Balancing）

借鉴 DeepSeek-V3 的无辅助损失策略，为每个专家维护一个动态偏置项：

s'_i = s_i + b_i

偏置项根据专家负载动态更新：

• 专家过载时：b_i ← b_i - γ
• 专家欠载时：b_i ← b_i + γ

其中 γ 为更新速率，建议设置为 0.001-0.01。

2. 节点受限路由

为降低跨节点通信开销，限制每个 token 最多访问 M 个节点上的专家。选择标准基于节点内专家的最高亲和度分数，在保持计算 - 通信重叠的同时提升可扩展性。

3. 残差 MoE 架构

将标准 MLP 输出与专家输出结合，把专家输出视为 "残差修正"：

y = MLP(x) + g · Expert(x)

即使某些专家负载过高，基础 MLP 仍能保证模型输出的稳定性。

监控与调优：关键指标与可落地策略

核心监控指标

部署 GLM 5.2 MoE 模型时，建议重点监控以下指标：

调参检查清单

训练阶段：

• 负载均衡损失系数：0.01-0.1（LBL）或 0.1（SimBal）
• 容量因子：从 1.5 逐步降至 1.0
• 门控温度：从 1.2 降至 0.8
• 路由器初始化：采用正交初始化加速收敛

推理阶段：

• 容量因子：固定为 1.0
• 启用动态偏置调整应对负载波动
• 配置节点受限路由优化通信
• 监控热点专家并准备回退策略

故障排查速查

结论

GLM 5.2 的 MoE 稀疏专家架构通过精巧的门控路由与负载均衡设计，在千亿参数规模下实现了高效的计算利用。从传统的 LBL 到新兴的 SimBal，负载均衡策略正从 "强制均匀" 向 "结构保持" 演进，在防止路由崩溃的同时减少专家冗余。

在实践中，容量因子、门控温度、并行策略的协同调优是发挥 MoE 架构潜力的关键。建议团队建立完善的专家使用率监控体系，结合动态偏置调整与节点受限路由等工程手段，确保 GLM 5.2 在生产环境中稳定高效运行。

随着 MoE 技术的持续演进，未来可能出现更智能的自适应路由机制，进一步模糊 "负载均衡" 与 "专家专业化" 之间的界限，为大规模语言模型的发展开辟新的可能性。

参考来源：

• Omi N, Sen S, Farhadi A. Load Balancing Mixture of Experts with Similarity Preserving Routers. arXiv:2506.14038, 2025.
• Zhang Y. A Review on the Evolvement of Load Balancing Strategy in MoE LLMs. Hugging Face Blog, 2025.

ai-systems