在大型语言模型应用快速普及的今天，Prompt Injection 攻击已成为最具威胁性的安全挑战之一。攻击者通过在用户输入中嵌入恶意指令，能够劫持模型行为、诱导数据泄露或绕过内容安全策略。面对这一威胁，业界普遍采用 Guardrail 模型作为防御层，但一个隐蔽而致命的问题随之浮现：过度防护（Over-defense）导致大量正常请求被错误拦截，严重影响产品可用性与用户体验。PIGuard 作为最新提出的解决方案，通过创新的 MOF 训练策略，在保持高检测率的同时显著降低了误报率，为工程团队提供了可落地的安全架构选择。
一、Prompt Guardrail 的过度防护困境
当前主流的 Prompt Guard 模型采用分类器架构，通过判断输入内容是否包含恶意指令来实施拦截。PromptGuard、ProtectAIv2、LakeraAI 等商业方案在基准测试中表现优异，恶意样本检测准确率可达九成以上。然而，这些模型在真实部署环境中暴露出一个关键缺陷：当用户输入包含某些「触发词」（Trigger Words）时，即使上下文完全 benign，也会被错误标记为恶意攻击。
问题的根源在于训练数据的分布偏差。Prompt Injection 攻击确实频繁使用特定词汇（如 "ignore"、"previous instructions"、"system prompt" 等），模型在学习过程中容易形成简单的词汇关联，将「出现触发词」等同于「存在攻击」。这种关联在训练数据上表现良好，但面对真实用户多样化的表达方式时，过度依赖词汇匹配导致大量误判。研究显示，在包含触发词的 benign 样本上，最先进的 Guard 模型准确率可降至约百分之六十，已接近随机猜测水平。
过度防护的后果远超技术层面。在实际产品中，频繁误拦截会导致用户投诉激增、客服成本上升，严重时甚至影响业务留存。安全团队陷入两难：收紧阈值虽能提高检出率，但可用性急剧下降；放松阈值则可能放行潜在攻击。这种困境需要从训练方法层面根本性解决，而非仅靠调整推理参数。
二、NotInject 数据集：量化过防护问题的基准
PIGuard 团队为此构建了专门的评估数据集 NotInject，旨在系统化测量各 Guard 模型的过度防护程度。该数据集包含三百三十九个 benign 样本，每个样本都刻意嵌入了 Prompt Injection 攻击中常见的触发词。这一设计的巧妙之处在于：样本在形式上「看起来像」攻击（因为包含触发词），但语义上完全 benign，能够有效测试模型是否真正理解上下文而非仅仅匹配词汇。
数据集构建采用了三层过滤的触发词识别流程。首先，团队对 benign 和 injection 两类数据集进行词频分析，计算每个词在两类中的排名差异，筛选出在 injection 数据集中排名显著高于 benign 数据集的候选词。这一步骤利用了统计差异自动发现潜在触发词，避免了人工枚举的遗漏。随后，团队使用大语言模型评估每个候选词：「你认为这个词在恶意攻击场景中是否特别常见？」通过 LLM 的语义理解能力过滤掉与攻击无关的常用词。最后，人工审核确保最终触发词列表的准确性。经过这三层过滤，团队确定了 113 个高质量触发词，并使用 LLM 生成包含这些词汇的 benign 句子。
数据集按照触发词密度分为三个子集：每个样本分别包含一个、两个或三个触发词。这一设计使得研究者能够分析模型在不同复杂度下的表现，识别出触发词数量与误判率之间的关联。实验结果揭示了一个令人担忧的现象：现有 SOTA 模型在 NotInject 上的准确率普遍接近随机水平，最佳成绩也仅约百分之六十，说明过度防护问题在工业级模型中普遍存在且严重。
三、MOF 训练策略的核心技术
针对上述问题，PIGuard 提出了 Mitigating Over-defense for Free（MOF）训练策略，其核心创新在于：在不引入额外标注数据、不增加训练复杂度的前提下，显著降低模型对触发词的偏见。MOF 的设计理念可以概括为「解构词汇绑定，强化语义理解」。
传统的 Guard 模型训练采用标准的二分类目标：给定输入，判断是否为恶意。这一目标隐含地鼓励模型发现任何可区分两类的特征，而高频触发词恰好是最便捷的特征。MOF 策略则引入了一个中间目标：让模型学习区分「仅因触发词被误判的样本」与「真正恶意的样本」。通过构建特定的对比学习对，模型被迫超越词汇层面的匹配，转而理解整体语义上下文。
这一策略的关键在于训练数据的构造。团队将原始训练集中的 benign 样本（尤其是包含触发词的样本）与 malicious 样本配对，形成对比学习三元组。模型在学习过程中不仅需要正确分类，还需要识别出：同样是包含触发词的输入，为什么有些是 benign 而有些是 malicious。这种对比学习机制有效打破了触发词与恶意标签之间的直接绑定，迫使模型将注意力分散到更广泛的上下文中。
实验验证了 MOF 的有效性。PIGuard 在 NotInject 数据集上的表现相比最佳基线提升了百分之三十点八，这一提升主要体现在 benign 准确率的跃升而非恶意检测率的下降。更直观地说，MOF 在几乎不牺牲安全性的前提下，大幅改善了可用性。Attention 可视化进一步揭示了机制差异：当输入包含「Can I ignore this warning appeared in my code?」这样的 benign 句子时，ProtectAIv2 将极高权重分配给「ignore」词，导致误判为 injection；而 PIGuard 的 attention 分布更加均匀，覆盖整个句子，最终正确识别为 benign。
四、工程实践：集成配置与阈值建议
对于希望在生产环境中部署 PIGuard 的工程团队，以下是经过实践验证的配置建议。模型本身仅有 184MB 参数，支持主流推理框架，集成成本较低。在推理阶段，首要关注的是置信度阈值的选择，它直接决定了安全与可用性的平衡点。
基于 NotInject 基准测试的经验，建议将置信度阈值设定在 0.75 至 0.85 区间作为初始值。此区间在大多数场景下能够将误报率控制在可接受范围内，同时保持较高的恶意检出率。具体数值的微调需要结合业务场景：对于金融、医疗等高安全需求场景，可适当降低阈值以提高召回率；对于面向大众的对话类产品，可略微提高阈值以减少误报对用户体验的干扰。
在实际部署中，建议实施分层过滤策略。第一层使用 PIGuard 进行初筛，对置信度低于阈值的样本直接放行；第二层对置信度落在灰色区间的样本进入人工复核或二次模型判断；第三层对高置信度恶意的样本实施拦截并记录日志。这种分层架构既能保证拦截效果，又能通过人工反馈持续优化阈值。
监控体系建设同样关键。建议持续追踪三个核心指标：Benign Accuracy（benign 输入被正确放行的比例，目标应维持在百分之九十以上）、Malicious Accuracy（恶意输入被正确拦截的比例，目标应维持在百分之九十五以上），以及 Over-defense Rate（包含触发词的 benign 输入被误判的比例，目标应控制在百分之五以下）。建立基线后，定期对比指标变化，当指标出现明显退化时，需要重新评估模型版本或调整阈值。
五、总结与展望
PIGuard 代表的 MOF 策略为 Prompt Injection 防护提供了一条新路径：不再追求单纯的检测率提升，而是关注安全与可用性的平衡。对于正在构建 LLM 安全体系的团队而言，这一思路具有重要的参考价值。过度防护问题本质上是一个「相对优化」问题，在安全边际足够的前提下，降低误报带来的用户体验提升往往比进一步提升检出率更具实际价值。PIGuard 的轻量级特性也降低了工程落地的门槛，团队可以在现有架构中快速引入并验证效果。随着 LLM 应用场景的持续扩展，如何在安全保障与用户体验之间找到最优平衡点，将成为安全架构设计的重要课题。
参考资料
- PIGuard 官方页面：https://injecguard.github.io/
- NotInject 数据集论文：https://arxiv.org/html/2410.22770v3