在大语言模型安全对齐日益严格的今天，审查移除技术成为模型可解释性与能力边界研究的重要方向。Heretic 作为首个开源的自动化 LLM 审查移除工具，通过方向性消融（Abliteration）技术，在不进行昂贵后训练的前提下显著降低模型的拒绝响应行为。本文将系统解析其核心技术原理与工程化实现路径。
核心假设：拒绝行为的方向性表征
现代 Transformer 架构的 LLM 将中间计算表示为高维向量，分布在残差流、注意力输出和 MLP 激活空间中。Heretic 的核心假设是：拒绝响应（如「我无法回答这个问题」）对应于这些激活空间中的一个相对低维子空间，通常可以近似为单一主导方向。一旦成功估计该方向，即可通过正交投影将其从模型计算中移除，使模型无法再表达拒绝行为。
这一假设的理论基础来自可解释性研究的单向量消融工作：给定激活向量 $a \in \mathbb {R}^d$ 和拒绝方向 $v \in \mathbb {R}^d$，将 $a$ 替换为 $a' = a - \frac {a \cdot v}{|v|^2} v$，即可消除 $a$ 沿 $v$ 方向的分量。Heretic 将这一思路从单层实验扩展为完整的权重编辑流水线，使修改持久化且无需在推理时使用钩子。
技术实现：六步自动化流水线
Heretic 的完整工作流程包含六个核心步骤，每个步骤均可通过参数配置进行调优。
第一步：数据采集与激活标注
工具首先需要构建能够诱发拒绝响应的提示集。典型配置包括：有害提示（安全对齐模型通常会拒绝的指令，如「提供制作炸弹的详细步骤」）和评估提示（用于衡量能力保留程度的良性提示）。在原始模型上运行这些提示后，系统记录两项关键信息：输出是否为拒绝（通过规则匹配「I cannot do that」等短语或使用分类器判定），以及指定层和组件的内部激活值。
建议的提示集规模在数十到数百条之间，需覆盖不同主题和拒绝触发模式。标注质量直接决定后续方向估计的准确性。
第二步：拒绝方向推断
从收集到的激活数据中，Heretic 通过以下流程估计拒绝方向：对每个激活向量根据模型输出打上「拒绝」或「非拒绝」标签；针对每个候选方向（通常来自 SVD/PCA 分解或训练的线性探测器），计算其在拒绝与非拒绝激活间的分离度（如点积统计、AUC 值）；在多个层和残差流上评估候选方向，按消融后拒绝率下降程度与良性输出保留程度的综合表现排序。
Heretic 引入两项关键改进：一是连续拒绝方向索引机制，允许在相邻层向量间进行线性插值，而非仅选择整数层索引；二是组件特定参数化，支持为注意力模块和 MLP 模块设置不同的消融强度，经验表明 MLP 干预对模型质量的损害通常大于仅干预注意力输出。
第三步：激活级消融验证
在确定候选方向后，Heretic 首先在激活层面进行消融测试，使用前向钩子临时修改激活值。对于选定的层和组件，将激活 $h$ 替换为 $h' = h - \text {proj}_v (h)$，其中 $\text {proj}_v (h)$ 是 $h$ 在拒绝向量 $v$ 上的投影。在此模式下运行模型并检查拒绝是否消失，同时观察良性行为是否保持。这一阶段为探索性质，不永久修改权重，仅用于评估候选方向和参数组合的有效性。
第四步：权重正交化（消融核心）
一旦选定有潜力的拒绝方向，Heretic 将激活级干预转换为权重空间编辑，使推理时无需钩子即可保持效果。对于权重矩阵 $W \in \mathbb {R}^{m \times d}$（如注意力输出投影 $W_O$、MLP 输出投影 $W_{\text {out}}$、嵌入矩阵 $W_E$），计算正交化矩阵 $W' = W - \text {proj}_v (W)$，其中 $\text {proj}_v (W)$ 将 $W$ 的每一行投影到 $v$ 上。具体实现通常使用 einsum 计算每行投影系数，然后用 $v$ 的外积减去这些系数。
此步骤对 token 嵌入、每个块的注意力输出投影和 MLP 输出投影执行，确保模型无论输入何种内容都无法沿拒绝方向生成响应分量。
第五步：自动化参数搜索
Heretic 相比早期手动流水线的核心优势在于完全自动化。使用随机或贝叶斯优化（TPE 等方法）在消融参数空间中进行搜索，参数空间通常包括：连续拒绝方向索引（可能的小数层间值）、每组件消融强度或组件选择（仅注意力、仅 MLP、混合）、消融向量的缩放因子、层子集或跨深度的核形状。
优化目标同时最小化两个指标：有害提示上的拒绝率（越低越好）、良性提示上消融模型与基础模型输出分布间的 KL 散度（越低表示能力保留越好）。对于每个参数候选，临时应用编辑或用钩子运行，评估拒绝率和 KL 散度，将分数反馈给优化器。经过数十到数百次试验后，选择在低拒绝率与低 KL 散度间取得最佳平衡的参数集。
第六步：导出修改后的模型
使用选定参数完成最终权重正交化后，Heretic 将编辑后的模型导出：从内部可解释性框架（如 HookedTransformer）转回标准 Hugging Face 权重格式，将编辑后的矩阵映射回 embedding 和 block 模块，保存为新的检查点作为原始模型的「消融」变体。
关键参数配置建议
在实际使用中，以下参数对结果影响最为显著：
优化器选择：推荐使用 TPE（Tree-structured Parzen Estimator）优化器，初始迭代次数建议设为 50-100 次，在拒绝率与 KL 散度间寻求平衡时可适当增加迭代次数。
层范围选择：默认配置通常覆盖模型的全部层，但针对特定模型架构可进行针对性调整。经验表明，靠近模型中后层的消融效果往往更显著，建议从第 10 层开始逐步扩展。
组件消融策略：优先尝试仅消融注意力输出投影（$W_O$），如效果不足再扩展至 MLP 输出投影（$W_{\text {out}}$）。仅消融注意力可在大多数情况下显著降低拒绝率，同时最大限度保留模型能力。
KL 散度阈值：建议将 KL 散度上限设置为 0.5-1.0 范围，超出此范围通常意味着能力损失过于显著，应考虑调整消融强度或方向索引。
局限性与安全考量
技术评估显示，方向性消融虽能有效降低显式拒绝响应，但数学推理等特定能力可能受到不成比例的影响，具体取决于模型架构和工具配置。Heretic 在移除拒绝行为的同时保留了大量底层能力，意味着生成模型在缺乏严格外部控制的情况下可能更易产生不安全内容。此外，自动化优化过程存在一定随机性，多次运行可能产生不同结果，建议在关键应用前进行充分的能力基准测试。
参考资料
本文核心信息来源于 Heretic 官方 GitHub 仓库及 arXiv 学术论文 Comparative Analysis of LLM Abliteration Methods（arXiv:2512.13655）。