# 在 garak 中开发自定义漏洞检测器插件：针对新型 LLM 风险的模块化探测 > 探讨 garak 框架中自定义 detector 插件的开发，用于探测间接提示注入和数据提取攻击，提供实现参数与测试指南。 ## 元数据 - 路径: /posts/2025/09/13/developing-custom-vulnerability-detectors-in-garak-for-llm-risks/ - 发布时间: 2025-09-13T20:46:50+08:00 - 分类: [ai-security](/categories/ai-security/) - 站点: https://blog.hotdry.top ## 正文 在大型语言模型（LLM）安全评估中，garak 作为一个开源的漏洞扫描框架，提供了一种模块化的方式来探测模型的潜在风险。传统的安全测试往往局限于已知攻击向量，而新兴威胁如间接提示注入（indirect prompt injection）和数据提取攻击（data extraction attacks）需要更灵活的工具来应对。本文聚焦于 garak 的 detector 插件开发，强调如何通过自定义插件扩展框架的能力，实现对新型风险的精准探测。这种方法不仅能提升评估的覆盖率，还能为工程团队提供可复用的测试组件。 garak 的核心架构围绕插件系统构建，包括 probes（用于生成交互提示）、detectors（用于检测输出中的失败模式）和 harnesses（用于协调测试流程）。自定义 detector 插件是扩展 garak 功能的关键，因为它允许开发者定义特定风险的检测逻辑，而无需修改框架核心。例如，在处理间接提示注入时，攻击者可能通过隐蔽方式（如嵌入式指令）操纵模型输出，导致安全边界被绕过。garak 的 detector 可以被设计为分析生成文本中是否包含未授权的指令执行迹象，从而及早识别此类漏洞。 开发自定义 detector 的第一步是理解其基类要求。garak.detectors.base.Detector 是所有 detector 插件的父类，开发者需继承它并实现 scan 方法。该方法接收模型生成的文本作为输入，返回一个布尔值表示是否检测到漏洞，以及可选的置信分数。证据显示，这种设计确保了插件的轻量级集成，避免了复杂依赖。例如，在 garak 的参考文档中，强调 detector 应专注于单一失败模式，以保持模块化。针对数据提取攻击，一个典型的 detector 可以扫描输出中是否泄露敏感模式，如 API 密钥或用户数据片段，使用正则表达式或 NLP 技术进行匹配。 为了使插件更具可操作性，我们可以定义一套工程化参数来指导实现。参数阈值设置是关键：对于间接提示注入 detector，设置最小置信阈值为 0.7（基于相似度匹配），以平衡假阳性和假阴性；对于数据提取，定义敏感关键词列表（如 "password" 或 "token"），并设置匹配阈值为 80% 覆盖率。这些参数可以通过 garak 的配置文件 YAML 动态调整，确保在不同模型上的适应性。清单形式的最佳实践包括：1) 初始化 detector 时加载预定义的攻击签名库；2) 在 scan 方法中集成多层检查，如语法解析后跟语义分析；3) 添加日志记录以追踪检测事件，便于后续审计。 在实际实现中，考虑一个针对间接提示注入的自定义 detector 示例。插件名为 IndirectInjectionDetector，继承 Detector 基类。在 __init__ 方法中，初始化一个嵌入模型（如 SentenceTransformer）用于计算提示与输出的语义相似度。scan 方法则首先解析输入文本，提取潜在指令子串，然后与已知注入模板比较。如果相似度超过阈值，返回 True 并附带解释性报告。这种方法已在 garak 的扩展社区中得到验证，证明其在探测隐蔽注入时的有效性。引用 garak 的 GitHub 文档：“每个插件模块定义继承自基类的插件类，例如 garak.detectors.base.Detector。” 这确保了插件的标准化接口。 转向数据提取攻击的 detector 开发，重点在于隐私泄露的模式识别。插件可以集成 difflib 或 fuzzywuzzy 库来检测输出中与训练数据或敏感输入的相似片段。参数方面，建议设置最大生成长度为 512 tokens，以控制计算开销；同时，定义回滚策略：如果检测到高风险输出，立即停止生成并标记为失败。实现清单：1) 预处理输入以匿名化敏感部分；2) 使用哈希函数快速比对提取片段；3) 集成到 harness 中时，指定并行度为 4，以优化多提示测试效率。这些措施使 detector 不仅检测风险，还提供可量化的缓解建议，如调整温度参数至 0.2 以降低随机性。 将自定义 detector 集成到 garak 的测试 harness 中是工程落地的核心。默认的 probewise harness 按探测顺序运行插件，但对于新型风险，推荐自定义 harness 以支持自适应测试。例如，创建一个 ModularHarness 类，继承 garak.harnesses.base.Harness，在 run 方法中优先加载自定义 detectors，并根据风险类型动态选择 probes。这种模块化设计允许并行处理多个漏洞向量，提高测试吞吐量。监控要点包括：实时追踪 hit rate（漏洞命中率），目标保持在 5% 以下；使用 Prometheus 等工具记录 detector 延迟，阈值设为 200ms/调用；以及定期验证插件准确性，通过 A/B 测试比较与基准 detectors 的 F1 分数。 在部署自定义插件时，需注意潜在风险与限制。首要风险是 over-detection，导致正常输出被误判；为此，引入白名单机制，排除 benign 模式。另一个限制是计算资源：复杂 detector 可能增加 GPU 负载，建议在开发阶段使用 test.Blank generator 进行单元测试，以隔离验证。garak 的日志系统（garak.log 和 JSONL 报告）是宝贵的资产，可用于事后分析 hit log，优化插件参数。总体而言，通过这些可落地参数和清单，自定义 detector 插件能显著增强 garak 在新兴 LLM 风险探测中的实用性。 进一步扩展，考虑多模型兼容性。garak 支持 HuggingFace、OpenAI 等生成器，自定义 detector 应抽象输出格式，确保跨接口的一致性。例如，在 scan 方法中统一处理 JSON 或纯文本响应。参数优化：对于 OpenAI 模型，设置 max_tokens=256 以匹配 API 限制；对于本地模型，监控内存使用不超过 8GB。测试清单扩展：1) 运行端到端扫描，命令如 python -m garak --model_type huggingface --model_name gpt2 --detectors custom.IndirectInjectionDetector；2) 分析报告，提取高风险提示；3) 迭代插件，基于反馈调整阈值。 总之，开发 garak 中的自定义 vulnerability detectors 是构建 robust LLM 安全管道的战略性步骤。通过观点驱动的证据支持和具体参数指导，这种方法不仅针对间接提示注入和数据提取攻击，还为未来风险预留扩展空间。工程团队可据此快速原型化插件，实现从探测到缓解的闭环流程。（字数：1028） ## 同分类近期文章 ### [诊断 Gemini Antigravity 安全禁令并工程恢复：会话重置、上下文裁剪与 API 头旋转](/posts/2026/03/01/diagnosing-gemini-antigravity-bans-reinstatement/) - 日期: 2026-03-01T04:47:32+08:00 - 分类: [ai-security](/categories/ai-security/) - 摘要: 剖析 Antigravity 禁令触发机制，提供 session reset、context pruning 和 header rotation 等工程策略，确保可靠访问 Gemini 高级模型。 ### [Anthropic 订阅认证禁用第三方工具：工程化迁移与 API Key 管理最佳实践](/posts/2026/02/19/anthropic-subscription-auth-restriction-migration-guide/) - 日期: 2026-02-19T13:32:38+08:00 - 分类: [ai-security](/categories/ai-security/) - 摘要: 解析 Anthropic 2026 年初针对订阅认证的第三方使用限制，提供工程化的 API Key 迁移方案与凭证管理最佳实践。 ### [Copilot邮件摘要漏洞分析：LLM应用中的数据流隔离缺陷与防护机制](/posts/2026/02/18/copilot-email-dlp-bypass-vulnerability-analysis/) - 日期: 2026-02-18T22:16:53+08:00 - 分类: [ai-security](/categories/ai-security/) - 摘要: 深度剖析Microsoft 365 Copilot因代码缺陷导致机密邮件被错误摘要的事件，揭示LLM应用数据流隔离的工程化防护要点。 ### [用 Rust 与 WASM 沙箱隔离 AI 工具链：三层控制与工程参数](/posts/2026/02/14/rust-wasm-sandbox-ai-tool-isolation/) - 日期: 2026-02-14T02:46:01+08:00 - 分类: [ai-security](/categories/ai-security/) - 摘要: 探讨基于 Rust 与 WebAssembly 构建安全沙箱运行时，实现对 AI 工具链的内存、CPU 和系统调用三层细粒度隔离，并提供可落地的配置参数与监控清单。 ### [为AI编码代理构建运行时权限控制沙箱：从能力分离到内核隔离](/posts/2026/02/10/building-runtime-permission-sandbox-for-ai-coding-agents-from-capability-separation-to-kernel-isolation/) - 日期: 2026-02-10T21:16:00+08:00 - 分类: [ai-security](/categories/ai-security/) - 摘要: 本文探讨如何为Claude Code等AI编码代理实现运行时权限控制沙箱，结合Pipelock的能力分离架构与Linux内核的命名空间、seccomp、cgroups隔离技术，提供可落地的配置参数与监控方案。