在大型语言模型（LLM）开发领域，安全对齐（Safety Alignment）机制通过拒绝回答敏感问题来约束模型输出，但这种审查过滤机制也限制了模型在特定场景下的可用性。传统移除审查的方式依赖昂贵的后训练（Post-training）流程，而 Heretic 项目提出了一种完全自动化的工程化解决方案 —— 通过定向消融（Directional Ablation，亦称 Abliteration）与超参数优化技术的结合，无需人工干预即可生成去审查化的模型。
定向消融的技术原理
定向消融技术源自 Arditi 等人于 2024 年发表的研究，其核心思想是识别模型内部表示 “安全拒绝” 的向量方向，并在推理过程中抑制该方向的表达。具体而言，Heretic 对每个 Transformer 层中的注意力输出投影矩阵（Attention Out-Projection）和 MLP 下投影矩阵（MLP Down-Projection）进行正交化处理，使这些矩阵的运算结果不再包含 “拒绝方向” 的分量。
拒绝方向（Refusal Direction）的计算采用差值均值法：对 “有害” 和 “无害” 两类提示词的首 token 残差向量取平均后相减，即可得到每层对应的拒绝方向向量。这一方向向量本质上编码了模型在面对敏感输入时的内部激活模式。通过将相关矩阵与该方向正交化，模型输出中表达拒绝的能力被有效削弱。
Heretic 在此基础上引入了三项关键工程创新。首先，消融权重核的形状具备高度灵活性，可通过 max_weight、max_weight_position、min_weight 和 min_weight_distance 四个参数描述消融权重在层间的分布形态。其次，拒绝方向索引支持浮点数而非仅限整数，当索引为非整数值时，Heretic 会线性插值最近的两个拒绝方向向量，从而解锁远超单层方向的优化空间。最后，MLP 与注意力组件的消融参数独立优化，因为实验表明 MLP 干预往往对模型能力损害更大，分别处理可进一步提升质量与遵从性的权衡效果。
TPE 超参数优化的工程实现
Heretic 的核心创新在于将消融参数的搜索过程完全自动化。系统采用 Optuna 框架实现基于 TPE（Tree-structured Parzen Estimator）的超参数优化，在参数空间中同时最小化两个目标：拒绝率（Refusal Rate）与 KL 散度（KL Divergence）。
拒绝率衡量模型对一组预设敏感提示词的拒绝比例，KL 散度则度量去审查化模型与原始模型在无害提示词上的概率分布差异。理想情况下，我们期望获得既不拒绝敏感输入、又不偏离原始模型能力范围的消融参数配置。TPE 算法通过构建参数与目标函数的后验分布关系，在高维空间中进行高效采样搜索，相比网格搜索或随机搜索能更快收敛至 Pareto 最优解。
在实际工程中，Heretic 会首先对待处理模型进行基准测试，以确定最优批处理大小充分利用硬件资源。默认配置下，在 RTX 3090 上消融一个 8B 参数模型约需 45 分钟。系统支持 bitsandbytes 量化（设置 quantization 为 bnb_4bit），可显著降低显存占用至 16GB 以下，使消费级显卡也能运行。
关键配置参数与实践建议
对于希望尝试 Heretic 的工程师，以下参数值得重点关注。direction_index 控制每层使用的拒绝方向索引，设为 per_layer 时各层使用自身计算的拒绝方向，也可手动指定具体索引值或浮点数以利用插值机制。消融权重相关参数决定了正交化的强度与层间分布，max_weight 设定最大消融权重值，max_weight_position 决定权重峰值所在的层位置，min_weight 与 min_weight_distance 则控制边缘层的最小权重衰减。
模型支持方面，Heretic 目前支持大多数密集模型、多模态模型以及多种 MoE 架构，但尚未支持 SSM / 混合模型、非均匀层结构及部分新型注意力系统。社区已在 Hugging Face 上发布了超过一千个基于 Heretic 消融的模型供直接使用。
从评估结果来看，Heretic 生成的消融模型在拒绝抑制能力上与人工专家作品相当（有害提示拒绝率均降至约 3%），但 KL 散度显著更低 —— 以 Gemma-3-12B-IT 为例，人工消融版本 KL 散度为 0.45 至 1.04，而 Heretic 版本仅为 0.16，表明原始模型的能力保留更加完整。这一数据有力证明了自动化超参数优化在质量 - 遵从性权衡上的优势。
小结
Heretic 项目展示了将学术研究转化为工程实践的有效路径：通过定向消融技术定位并抑制模型内部的安全拒绝机制，借助 TPE 超参数优化自动搜索最优参数配置，整个流程无需人工介入即可产出高质量去审查化模型。其核心价值在于降低消融技术的使用门槛 —— 任何熟悉命令行操作的工程师都能直接使用，同时也为可解释性研究提供了残差几何分析等辅助功能。
参考资料
- Heretic GitHub 仓库：https://github.com/p-e-w/heretic
- 定向消融原始论文：Arditi et al. 2024, arXiv:2406.11717