在持续学习场景中，如何让模型在不遗忘先前技能的前提下持续吸收新能力，始终是基础模型后训练的核心挑战。传统监督微调（SFT）本质上是离策略学习，当模型依次学习多个任务时，先前任务的分布信息被快速遗忘，导致灾难性遗忘问题。MIT 与 ETH Zurich 联合提出的 SDFT（Self-Distillation Fine-Tuning）框架另辟蹊径，利用模型自身的上下文学习能力，将同一个模型同时扮演教师与学生双重角色，通过在线蒸馏的方式在自身生成的轨迹分布上进行更新。这一机制在技能学习与知识获取两类任务中均显著优于 SFT：新任务准确率更高，同时先前能力几乎不衰退。本文以此为技术基座，进一步延伸至多教师场景，聚焦梯度冲突的消解策略与教师同步频率的调优实践，为工程化落地提供可直接操作的核心参数与监控阈值。
EMA 教师机制与稳定性保障
SDFT 的核心创新在于利用模型的上下文学习能力构建教师信号。具体而言，给定一个基础模型策略 π，学生模型是未经任何条件化的原始策略 π_θ，而教师模型则是同一模型在被特定专家示范 c 条件化后的策略 π(・|x, c)。通过在学生自身生成的轨迹上训练并最小化学生与教师之间的反向 KL 散度，模型能够持续获得在线的、反映专家意图的监督信号。
然而，教师参数的更新策略对训练稳定性至关重要。论文附录 A.3 系统对比了三种教师选择方案：直接使用冻结的基础模型作为教师、使用当前学生模型作为教师、以及使用学生参数的指数移动平均（EMA）作为教师。结果表明，冻结基础模型虽然稳定，但无法跟踪学习进展，导致监督信号落后于学生当前能力；直接使用学生自身作为教师则会引发严重的不稳定性，因为 token 级概率更新的随机波动会在在线反馈循环中被快速放大，最终导致训练发散。EMA 教师则在这两个极端之间取得了最佳平衡 —— 它既跟踪学生的学习进度，又通过平滑机制抑制高方差更新，从而实现稳定的训练动态与优越的最终性能。实践中，EMA 更新率 α 的典型取值范围为 0.999 至 0.9999，更新公式为 φ ← α・θ + (1−α)・φ，其中 φ 表示教师参数，θ 表示学生参数。
对于多教师场景，EMA 的设计哲学可进一步扩展。当系统中有多个任务特定的教师时，每个教师维护独立的 EMA 参数副本，其更新节奏应当与对应任务的训练阶段对齐。若多个教师同时更新且步长不一致，梯度空间中会产生冲突 —— 某些方向上不同教师的梯度相互增强，而另一些方向上则相互抵消。因此，建议为每个教师设置独立的 EMA 率，并通过验证集性能动态调整：对于知识密集型任务，EMA 率可设高一些（如 0.9999）以保留更多的历史知识锚点；对于技能迁移型任务，EMA 率可适度降低（如 0.999）以加快对新型行为模式的适应。
梯度冲突的成因与消解路径
多教师自蒸馏框架中，梯度冲突本质上源于不同教师信号在参数空间中的方向不一致。假设模型需要在任务 A 和任务 B 上同时或依次学习，而对应的教师分别对各自任务的输出分布有偏好。当两个任务对模型参数的更新方向存在显著差异时，直接累加梯度会导致模型在两个任务上的性能产生振荡。
一种有效的策略是梯度手术（Gradient Surgery），该方法在 CVPR 2024 的多教师蒸馏论文中被系统验证。核心思路是检测梯度冲突：当两个教师的梯度方向夹角超过预设阈值时，将其中一个梯度在冲突方向上投影为零，保留与另一个梯度正交的分量。具体而言，设 g_A 和 g_B 分别为两个教师产生的梯度，计算它们的内积 g_A・g_B，若内积为负（即夹角大于 90°），则将 g_A 修正为 g_A − (g_A・g_B)/(||g_B||²)・g_B，保留 g_B 不变。这一操作确保每次更新不会损害已有性能较好的任务。
另一条路径是动态权重调度。与其在冲突发生时被动修正梯度，不如在训练过程中主动调整不同教师信号的贡献权重。一种实用的方案是基于任务切换信号的置信度加权：当模型在某个任务上的验证准确率出现明显下降趋势时，自动提高该任务对应的教师损失权重，同时降低其他教师的权重。这种动态调整可以在训练日志中实时监控：当某个任务连续两个验证周期准确率下降超过 2%，触发权重重分配机制，将该任务的 KL 损失权重从当前值提升 20%，直至性能恢复基线水平。
同步频率调优：稳定性与效率的权衡
在单教师 SDFT 框架中，教师参数通过 EMA 机制持续跟踪学生参数，更新是每一步都发生的。然而，在多教师场景下，频繁同步教师参数会带来显著的算力开销。论文指出，SDFT 相比 SFT 需要约 2.5 倍的 FLOPs 计算量和约 4 倍的 wall-clock 训练时间，这在单教师场景下已经是不小的开销。当教师数量增加到 3 到 5 个时，同步频率的优化将成为影响系统可用性的关键因素。
一种实用的策略是任务边界同步：仅在模型从一个任务切换到下一个任务时，对所有教师的 EMA 参数进行一次全局同步更新，而在单个任务训练期间保持教师参数固定。这一策略的理论依据在于，当前的 EMA 教师只需要跟踪学生在当前任务上的进展，而非所有任务的综合状态。任务边界同步可以将在线同步的计算量从 O (steps × teachers) 降低至 O (switches × teachers)，在长序列任务训练中显著减少开销。
对于需要持续跟踪的场景，可以采用周期同步配合延迟更新的混合策略。具体而言，设置一个同步周期 T（如每 100 步同步一次），在同步周期内，教师参数使用本地缓存的梯度进行累积更新，而非立即应用。同步时，将累积的梯度均值应用于教师参数更新，同时清空累积缓存。这一机制等价于在 EMA 更新中引入了延迟反馈，可以有效抑制高频波动，同时保持对低频趋势的跟踪。实践中，T 的取值需要根据任务特性调整：对于输出分布变化剧烈的任务（如创意写作），T 宜设小（如 50 步）；对于分布相对稳定但需要精细调整的任务（如代码补全），T 可设大（如 200 步）。
与渐进式微调及经验回放方法的对比
在持续学习领域，渐进式微调（Progressive Fine-Tuning）与经验回放（Experience Replay）是两种经典范式，理解 SDFT 与它们的差异，有助于在实际项目中做出合理的技术选型。
渐进式微调采用横向扩展策略：当模型学习新任务时，冻结已有任务的参数，仅对新任务分配新的参数模块。这一设计从源头上避免了灾难性遗忘，因为先前任务的表示被永久保留。然而，渐进式微调面临容量饱和问题 —— 随着任务数量增加，模型参数总量线性增长，在资源受限的场景下不可持续。更关键的是，新旧任务之间缺乏显式的知识迁移机制，新任务无法利用先前任务学到的通用表示，导致跨任务泛化能力受限。相比之下，SDFT 通过 EMA 教师提供稳定的历史锚点，同时在统一的参数空间内进行学习，既保留了先前能力，又允许新知识与旧知识共享表示。
经验回放方法通过维护一个历史样本缓冲区来对抗遗忘：每次学习新任务时，从缓冲区中采样部分旧样本与新样本混合训练。这一方法在实践中简单有效，但存在两个固有缺陷。其一是记忆衰减问题：缓冲区容量有限，旧样本会随时间被新样本替换，导致早期任务的信号逐渐稀释，最终无法有效保留。其二是分布漂移问题：模型在持续学习过程中参数不断变化，而缓冲区中的样本是由模型早期版本生成的，用这些离线样本训练本质上是离策略学习，无法避免误差累积效应。SDFT 的在线蒸馏机制从根本上规避了这两个问题 —— 学生始终在当前策略生成的轨迹上训练，教师信号通过 EMA 持续更新，确保监督分布与学生自身分布的匹配度始终处于合理范围内。
工程化落地的核心参数与监控清单
基于 SDFT 论文的实验结果与多教师扩展的理论分析，以下是工程化落地时可直接参考的核心参数设置与监控指标。
教师参数配置：EMA 率 α 建议从 0.999 开始调参；若任务切换频繁，尝试降低至 0.999；对于知识密集型任务，优先尝试 0.9999 以保留更多历史锚点。教师参数更新频率建议在任务边界同步；若需要实时跟踪，将教师参数更新嵌入训练循环，每步更新。
梯度冲突消解阈值：梯度夹角阈值建议设为 90°（即内积为负时触发修正）；对于多教师（>3 个）场景，可适当收紧至 85° 以减少不必要的梯度修正。动态权重调整的触发条件为连续两个验证周期准确率下降超过 2%；权重调整幅度建议为 20% 增量，上限不超过各任务权重总和为 1.0 的归一化约束。
同步周期 T：对于快速变化任务（创意写作、开放式问答），T=50 步；对于稳定输出任务（工具调用、结构化推理），T=200 步；若使用周期同步配合延迟更新，建议同步周期内累积梯度的批次阈值为 4，即每 4 步计算一次梯度均值后同步。
训练效率基准：SDFT 单教师场景相比 SFT 增加约 2.5 倍 FLOPs 和 4 倍 wall-clock 时间；每增加一个教师，额外增加约 15%–20% 的计算开销；通过任务边界同步策略，可将教师同步开销控制在总训练时间的 5% 以内。
关键监控指标：每个任务在验证集上的准确率趋势（用于检测遗忘）；学生与教师之间的 KL 散度均值（建议监控阈值：训练过程中 KL 散度应保持在 2.0 nats 以下，若超过 2.5 nats 表明教师学生分布漂移过大，需要调整 EMA 率或同步频率）；梯度冲突频率（统计每 100 步中梯度手术触发次数，若超过 20 次表明多教师冲突严重，建议合并教师或调整权重）；EMA 教师的参数偏移量（记录教师参数与学生参数的欧氏距离，阈值超过基线距离 2 倍时触发告警）。
资料来源
- SDFT 论文：arXiv:2601.19897，"Self-Distillation Enables Continual Learning"，MIT & ETH Zurich，2026 年 1 月发表于 ICLR。
- SDFT 官方项目页面：https://self-distillation.github.io/SDFT.html。
- Hugging Face Papers：https://huggingface.co/papers/2601.19897。
内容声明：本文无广告投放、无付费植入。
如有事实性问题，欢迎发送勘误至 i@hotdrydog.com。