在代码生成领域，一个值得关注的现象是：自蒸馏（Self-Distillation）并非均匀提升模型在所有问题上的表现。最新研究表明，自蒸馏对复杂编程问题的性能增益显著高于简单问题，这种现象被称为「复杂度差距」（Complexity Gap）。本文将深入剖析这一机制的底层原理，量化其效果差异，并给出可落地的工程参数建议。

精度与探索的内在张力

代码生成任务本质上面临精度与探索之间的权衡。当模型生成代码时，需要在精确区域（如 API 名称、语法结构）保持高置信度，同时在需要创造性解决方案的长尾场景保留探索能力。传统方法往往依赖外部验证器或强化学习信号来平衡这一张力，但自蒸馏提供了一种更简洁的替代方案：通过让模型学习自身生成的高质量输出，它能够自主调整解码分布，在不同上下文中动态权衡精度与探索。

自蒸馏的核心机制可以理解为一种隐式的分布整形（distribution shaping）。模型首先对自己生成的样本进行筛选，保留那些语法正确、逻辑合理的代码片段，然后用这些自生成数据进行微调。这一过程不需要外部教师模型或人工标注的标签，却能够有效减少「干扰尾」（distractor tails）—— 即模型在生成精确代码时偶尔会错误输出相似但不正确的 token 序列。

复杂度差距的量化表现

在 LiveCodeBench 等主流代码生成基准上的实验揭示了自蒸馏效果的问题难度依赖性。对于简单编程任务（如基础函数实现、简单算法题），自蒸馏带来的 pass@1 提升通常在 1 到 3 个百分点之间，增幅相对有限。然而，当聚焦于高难度问题（如复杂数据结构设计、多层递归问题、边界条件繁多的实现）时，pass@1 的提升幅度可以达到 5 到 10 个百分点甚至更高。

这种差异化提升的根源在于：简单问题的解决路径相对固定，模型在原始训练后已经具备较强的解决能力，自蒸馏的边际收益自然有限；而复杂问题往往存在多条可能路径，模型需要更精细地判断何时该坚持当前思路、何时该回溯尝试替代方案。自蒸馏通过让模型接触自身在复杂场景下的成功案例，帮助其学习更鲁棒的决策模式。

值得注意的是，复杂度差距不仅体现在绝对性能上，还反映在相对增益率上。有实验数据显示，在问题难度位于后四分位数（最难的 25% 问题）时，自蒸馏带来的相对性能提升可达简单问题的 2 到 3 倍。这一规律在不同规模的模型上均有体现，从 4B 参数的轻量级模型到 30B 参数的大模型，复杂度差距现象保持一致。

训练配置的关键参数

要在实际项目中有效复现这一效果，需要精心配置自蒸馏的训练流程。以下是经过实验验证的核心参数建议：

数据生成阶段：使用模型自身以中等温度（通常在 0.6 到 0.8 之间）采样生成多个候选解，然后通过简单截断策略保留质量最高的样本。温度设置过低会导致生成样本缺乏多样性，无法覆盖复杂问题的多种解法；温度过高则会引入过多低质量样本，稀释训练数据的信号强度。

微调阶段：采用标准的监督微调目标，直接在样本的表面形式（surface form）上进行训练，而非使用强化学习或外部奖励信号。训练轮数通常控制在 1 到 3 个 epoch 即可，过度训练反而会导致模型过拟合于自生成样本的特定风格，失去对未见问题的泛化能力。

模型选择阶段：自蒸馏对不同类型的模型均有效，包括指令微调版本和思考链（thinking）版本。但在实践中，初始能力较强的模型往往能生成更高质量的自蒸馏样本，从而形成正向循环。因此，如果计算资源允许，建议先用较大规模的模型作为「教师」生成种子数据，再蒸馏到目标规模的模型。

难度分级与效果监控

为了最大化自蒸馏的投资回报，建议建立系统化的问题难度分级机制。可以基于以下维度对训练数据进行难度标注：代码行数与嵌套深度、涉及的数据结构复杂度、需要的算法推理步骤数、边界条件数量。每个维度可以采用低、中、高三档评分，综合得分用于划分问题的整体难度等级。

在监控层面，除了常规的 pass@1 指标外，还应针对不同难度区间分别统计通过率。建议设置以下监控阈值：当高难度问题的 pass@1 提升低于 3 个百分点时，需要检查数据生成阶段的温度设置是否偏高；当简单问题的 pass@1 出现下降趋势时，可能表明自蒸馏数据中引入了过多的复杂样本，导致分布偏移。此外，建议定期在 Held-out 难度的验证集上评估模型，确保自蒸馏带来的能力提升具有泛化性。

与其他技术的协同潜力

自蒸馏并非孤立的技术手段，它与推理规划模块、工具调用增强等方法具有良好的协同效应。在多步骤编程任务或需要调用外部 API 的场景中，自蒸馏可以帮助模型更精准地判断在何时使用工具、何时依赖内部推理。这种精度与探索的动态平衡，正是复杂代码生成任务成功的关键要素。

对于资源有限的团队，一个实用的策略是先用自蒸馏对基础模型进行能力增强，再结合少样本提示（few-shot prompting）应对特别困难的边界情况。这样既能享受自蒸馏带来的普遍性能提升，又能在关键节点保留人工干预的灵活性。

资料来源

本文核心实验数据来自论文《Embarrassingly Simple Self-Distillation Improves Code Generation》（arXiv:2604.01193），该研究系统验证了自蒸馏在不同模型规模和问题难度下的效果差异。