Forge Guardrails：用结构化约束激活8B小模型的Agent能力

本地部署的小参数模型（8B 级别）在执行多步 Agent 工作流时，往往面临工具调用格式错误、步骤顺序混乱、错误恢复能力弱等问题。Forge 项目通过一套结构化的 guardrails 约束机制，成功将 Ministral-3 8B 模型在复杂 Agent 任务上的准确率从基线的 53% 提升至 99%，为消费级 GPU 上的可靠 Agent 部署提供了可复现的工程范式。

小模型 Agent 的可靠性困境

8B 级别的本地模型在工具调用场景中存在三类典型故障模式：一是输出格式偏离预期的 JSON 结构，导致工具调用解析失败；二是在多步工作流中跳过必要的中间步骤，直接调用终止工具；三是在遇到工具执行错误时无法有效自我纠正。这些问题的根源在于小模型的指令遵循能力和长程推理稳定性相对有限，需要在系统层面引入外部约束机制。

Forge 的核心洞察是：小模型在 "开放式决策"（判断应该输出文本还是调用工具）上表现脆弱，但在 "结构化选择"（在预定义的工具列表中选择）上表现稳定。基于此，框架设计了三层 guardrails 架构，将模型的决策空间从开放域压缩到结构化域。

三层 Guardrails 架构

ResponseValidator负责响应验证与救援解析。当模型返回非工具调用格式的文本响应时，Validator 首先尝试 rescue 解析 —— 从文本中提取可能的工具调用结构。若救援失败，则生成 retry nudge 注入对话历史，引导模型重新生成。该组件同时检测未知工具名，防止模型幻觉调用未定义工具。

StepEnforcer负责步骤强制执行与前置条件检查。通过维护一个独立于消息历史的 StepTracker，框架可以权威地判断哪些必需步骤已完成。当模型试图在步骤未满足时调用终止工具，Enforcer 会注入 escalating nudge（三级升级提示），强制模型回到正确路径。同时检查工具的前置依赖关系，确保调用顺序符合业务逻辑。

ErrorTracker负责错误预算管理。框架为连续重试次数和连续工具错误次数分别设置上限（默认 max_retries=3，max_tool_errors=2），防止模型在错误路径上无限循环。每次成功执行工具调用会重置重试计数器，形成正向反馈机制。

关键技术细节：Respond 工具与上下文管理

Forge 最具创新性的设计是合成 Respond 工具。传统模式下，小模型需要在 "输出文本" 和 "调用工具" 之间做出选择，eval 测试显示这种选择会显著降低工作流完成率。Forge 通过自动注入一个名为respond的合成工具，将所有响应统一为工具调用格式 —— 模型调用respond(message="...")代替直接输出文本。"Small local models (~8B) cannot be trusted to choose correctly between text and tool calls." 这一设计消除了模型的选择歧义，使其始终保持在工具调用语法模式下运行。

在上下文管理方面，Forge 采用TieredCompact 三层压缩策略。Phase 1 截断旧工具结果至 200 字符，Phase 2 完全丢弃旧工具结果但保留推理痕迹，Phase 3 作为紧急截断仅保留工具调用骨架。通过keep_recent参数控制保留的最近迭代轮数，确保关键推理上下文不被过早压缩。

工程实践：参数配置与部署策略

对于 8B 级别模型，推荐的配置参数如下：

• 推理后端：优先使用 llama-server（llama.cpp）配合--jinja参数启用原生函数调用，Ollama 作为备选
• 量化方案：Q8_0 权重配合 Q8_0 KV 缓存量化，可在保持精度的同时将上下文容量从 36K 提升至 68K tokens
• 采样参数：temperature=0.7，配合模型特定的推荐采样配置（recommended_sampling=True）
• 上下文预算：根据 VRAM 自动分级 ——<24GB 使用 4096 tokens，24-48GB 使用 32768 tokens

Workflow 定义时需明确required_steps（必需步骤列表）和terminal_tool（终止工具），通过prerequisites声明工具间依赖关系。建议设置max_iterations=10作为硬上限，防止无限循环。

评估验证与消融分析

Forge 内置 26 场景的 eval harness，涵盖基础工具调用、顺序推理、错误恢复、上下文压缩等维度。Ministral-3 8B Instruct Q8 在完整 guardrails 配置下达到 86.5% 的综合评分，在最难的 advanced_reasoning 层级仍保持 76% 准确率。

消融实验揭示了各组件的关键作用：禁用 rescue 解析、禁用步骤强制、或完全禁用 guardrails 都会导致准确率断崖式下跌。特别是 "信任模型文本意图" 的实验显示，当框架无条件接受模型的finish_reason: stop信号时，工作流完成率从 100% 骤降至 4%，印证了小模型在开放式决策上的不可靠性。

资料来源

• GitHub: https://github.com/antoinezambelli/forge
• Architecture 文档: https://github.com/antoinezambelli/forge/blob/main/docs/ARCHITECTURE.md
• ADR-013 决策记录: https://github.com/antoinezambelli/forge/blob/main/docs/decisions/013-text-response-intent.md

ai-systems