大语言模型能否仅凭自身输出提升代码生成能力，而不依赖外部验证器、教师模型或强化学习？Apple 研究团队在 arXiv 发表的论文《Embarrassingly Simple Self-Distillation Improves Code Generation》给出了肯定答案。该研究提出的 Simple Self-Distillation（SSD）方法，仅通过模型自身采样与微调即可实现显著性能提升，其中 Qwen3-30B-Instruct 在 LiveCodeBench v6 上的 pass@1 从 42.4% 提升至 55.3%，增益主要集中在更难的问题上。本文从数据构建、蒸馏损失与评估指标三个维度，解析该方法的核心工程参数，为代码生成后训练提供可直接落地的技术参考。
自蒸馏数据构建的核心策略
SSD 方法的数据构建流程极为简洁，却蕴含深刻的工程洞察。研究团队采用两步采样策略：首先在特定温度与截断配置下从目标模型采样多个候选解，随后将这些自生成样本作为微调数据。整个过程不引入任何外部数据源或教师模型，实现了真正的自蒸馏。采样阶段的核心参数包括温度参数与 top-p 截断值的组合配置，这些超参数决定了生成样本的多样性与质量平衡。具体而言，较高的温度有助于探索更多样化的代码实现路径，而适度的截断则过滤掉低质量的尾部 token。值得注意的是，论文发现并非所有采样配置都能带来正向收益，某些温度与截断组合甚至会导致性能下降，这表明数据构建阶段的参数调优至关重要。实际工程中建议以 0.1 为步长探索温度范围 0.3 至 1.0，同时配合 top-p 值 0.9 至 0.95 进行网格搜索，以找到适用于目标模型的最优采样配置。
精度与探索的动态权衡机制
SSD 方法的有效性根植于大语言模型解码过程中的精度与探索冲突。论文深入分析了这一机制：模型在生成代码时需要在精确性与多样性之间取得平衡。在某些上下文敏感的位置，模型需要高精度地输出关键 token，此时过多的探索性采样反而会引入干扰；而在另一些需要创造性的位置，保留一定的多样性有助于发现更优的解决方案。SSD 通过自蒸馏重塑了 token 分布，实现了一种上下文依赖的动态调整：在精度关键区域抑制分心 token 尾迹，在探索有益区域保留有用多样性。这一发现解释了为何简单的方法能够 work—— 它并非简单地拟合自身输出，而是通过调整分布形态实现了更优的解码行为。工程实践表明，这种分布重塑效果在模型规模增大时更为明显，但即使是小规模模型也能从中获益。
跨模型家族的泛化能力验证
该方法的另一重要特性是跨模型家族的强泛化能力。实验覆盖了 Qwen 与 Llama 两大主流模型家族，模型规模涵盖 4B、8B 与 30B 参数，同时包含 instruct 版本与 thinking 变体。结果显示 SSD 在所有测试配置上均实现了一致的性能提升，这表明该方法不依赖于特定模型架构，具有广泛的应用前景。特别值得关注的是 thinking 变体模型的表现 —— 这类模型在推理过程中会生成大量的中间思考步骤，传统的自蒸馏方法往往难以处理如此复杂的输出结构。然而 SSD 仍然成功实现了显著提升，说明其对长程生成任务同样有效。工程落地时建议首先在目标模型家族的小规模变体上验证方法有效性，确认后再扩展至大规模模型，以控制计算成本与实验风险。
评估指标体系与监控要点
论文采用 LiveCodeBench v6 作为主要评估基准，该基准涵盖了广泛的编程任务与难度梯度。核心评估指标包括 pass@1 与 pass@5，其中 pass@1 衡量单次生成的正确率，pass@5 则评估前五次尝试中至少一次成功解决问题的概率。实验结果显示 SSD 在 pass@5 上的增益普遍高于 pass@1，这表明自蒸馏不仅提升了生成质量，还增强了模型生成多个可行解决方案的能力。工程实践中建议同时监控这两个指标，并关注二者差距的变化趋势 —— 差距扩大可能意味着模型在保持高精度方面有所牺牲。此外，由于增益主要集中在更难的问题上，建议按难度分层分析评估结果，以便更精细地理解模型能力的提升模式。
工程落地的关键参数清单
综合论文核心发现，以下是可复用的关键工程参数与监控要点。采样阶段：温度范围建议 0.3 至 1.0，步长 0.1；top-p 截断值建议 0.9 至 0.95；每个 prompt 采样候选数量建议 5 至 10 个。微调阶段：采用标准有监督微调损失，与常规微调流程一致；建议训练轮数 3 至 5 个 epoch，学习率可略低于常规微调以避免过拟合于自生成数据。评估阶段：必须同时监控 pass@1 与 pass@5；按难度分层分析结果；建议在 LiveCodeBench v6 上进行基准测试，同时可补充 MBPP、HumanEval 等辅助评估集。模型选择方面：优先在目标模型家族的小规模变体验证；thinking 变体需要额外关注生成长度与 Reasoning 质量。值得注意的是，该方法为后训练的补充方向，可与现有数据流水线无缝集成，不冲突于其他后训练技术。
资料来源：Apple 研究团队论文《Embarrassingly Simple Self-Distillation Improves Code Generation》，arXiv:2604.01193，2026 年 4 月提交。