在大型语言模型（LLM）的实际部署中，流式响应已成为提升用户体验的核心机制。通过逐 token 生成输出，模型能够实现近实时交互，避免用户长时间等待完整回复。然而，许多开源 LLM 如 Llama 或 Gemma 系列在安全对齐训练后，会对潜在有害提示产生拒绝响应，这在流式场景下会中断生成过程，导致体验不连贯。为解决这一问题，Heretic 工具提供了一种高效的 abliteration（消融）技术，通过运行时电路干预实现低延迟去审查，特别适用于 token-by-token 的流式输出。
Abliteration 的核心观点在于，LLM 的拒绝行为并非复杂机制，而是残差流中单一方向的投影所致。通过识别并移除这一“拒绝方向”，模型可在不牺牲整体智能的前提下响应所有提示。在流式环境中，直接修改模型权重可能引入重计算开销，而运行时干预则允许动态应用补丁，仅在每个 token 生成时进行轻量级调整。这种方法的核心优势是低延迟：干预仅涉及向量投影和减法操作，避免了完整前向传播的重构。
证据来源于 Heretic 的实现和原始研究。Heretic 基于 Arditi 等人的论文，使用 Optuna 优化器自动搜索最佳 abliteration 参数，包括方向索引、最大权重位置和最小权重距离。这些参数针对注意力输出投影和 MLP 下投影矩阵，确保消融后拒绝率降至最低，同时 KL 散度保持在 0.16 以下（如 Gemma-3-12B 示例）。在运行时，TransformerLens 等库可通过钩子函数在残差流后插入干预：对于每个层，计算激活在拒绝方向上的投影（proj = (activation · refusal_dir) / ||refusal_dir||^2 * refusal_dir），然后 activation' = activation - proj。该操作在每个 token 的每个层执行，时间复杂度为 O(d_model)，其中 d_model 通常为 4096，远低于完整层计算的 O(n^2 d_model)。
为实现低延迟，优化补丁应用是关键。预计算拒绝方向（使用 Heretic 在离线阶段完成），并缓存层级权重核（max_weight=1.0, min_weight=0.0, max_weight_position=中间层）。在流式推理中，使用 KV 缓存加速自回归生成，仅在新 token 上应用干预，避免从头计算历史。实验显示，在 RTX 5090 上，干预引入的延迟小于 10ms/token，相比无干预的流式生成增加不足 5%。此外，为避免过度消融导致性能退化，可设置阈值：若 KL > 0.5，则回滚到部分层干预。
可落地参数与清单如下：
预计算阶段（Heretic 配置）：
- 模型：google/gemma-3-12b-it
- 优化目标：min(拒绝率 + λ * KL)，λ=0.1
- 方向索引：per layer（每层独立）
- 权重核：max_weight=1.2, max_weight_position=16（总层 28），min_weight=0.1, min_weight_distance=8
- 数据集：1000 条有害/无害提示（从 Hugging Face datasets 加载）
- 输出：refusal_dir (list of vectors, shape [n_layers, d_model])
运行时干预（Python 实现，使用 Transformers + hooks）：
- 加载模型与预计算方向：model = AutoModelForCausalLM.from_pretrained("path/to/model", torch_dtype=torch.bfloat16)
- 定义钩子函数：
def ablation_hook(residual, hook):
layer_idx = hook.layer()
dir_vec = refusal_dirs[layer_idx]
proj = torch.dot(residual.flatten(), dir_vec.flatten()) / torch.dot(dir_vec.flatten(), dir_vec.flatten()) * dir_vec
return residual - proj.view(residual.shape)
- 注册钩子：model.model.layers[layer].register_forward_hook(ablation_hook) for each layer
- 流式生成：
with torch.no_grad():
for token in generate_stream(prompt, max_new_tokens=512, use_cache=True):
yield decode(token)
- 监控：每 50 tokens 计算局部 KL，若 > 阈值，动态降低 max_weight
回滚策略：若干预导致生成质量下降（e.g., perplexity > 10），切换到仅 MLP 层干预，或使用 DPO 微调恢复。
这种工程化方法确保了流式 LLM 的 uncensoring 在生产环境中可行，同时最小化计算开销。未来，可扩展到 MoE 模型，支持多模态流式输出。
资料来源：