在AI代理的实际部署中，多步规划的可靠性往往成为瓶颈，尤其是幻觉（hallucination）在连续任务中的传播可能导致整个执行链条失效。Andrej Karpathy在访谈中指出，当前强化学习（RL）等方法监督信号稀疏，容易引入噪声，难以有效捕捉多步推理的细粒度错误[1]。本文聚焦单一技术点：通过验证循环和混合人-AI监督，确保多步执行的可靠落地，避免幻觉累积。
多步规划的可靠性挑战
AI代理在处理复杂任务时，通常分解为序列步骤，如规划路径、调用工具、评估结果。但幻觉问题——模型生成看似合理却不准确的内容——会从早期步骤传播，放大下游错误。例如，在一个代理执行“市场分析并生成报告”的任务中，如果初始数据检索产生虚构事实，后续分析将基于错误前提，导致最终输出偏差。Karpathy强调，这种传播源于模型的认知缺陷，如缺乏持续学习和记忆蒸馏，当前LLM更多依赖预训练的模糊回忆，而非实时验证[1]。
传统RL方法试图通过最终奖励信号调整整个轨迹，但正如Karpathy所述，这相当于“通过吸管吮吸监督”，忽略中间过程的局部优化，导致高方差估计。结果是，代理在生产环境中难以达到99.999%的可靠性阈值，远低于人类实习生的表现。解决之道在于引入结构化验证，而非依赖单一端到端优化。
验证循环：中间检查与自省机制
验证循环是一种循环结构，在每个步骤后插入检查点，确保输出符合事实和逻辑。该机制借鉴Karpathy的nanoGPT工程实践：通过简单、可读代码实现可验证的训练循环，避免复杂依赖[2]。在代理中，验证循环可分为三层：
-
自省验证：代理在生成输出后，使用另一个LLM实例或内置提示进行自查。例如，提示模板：“检查以下输出是否基于事实？列出潜在幻觉点。” 这类似于nanoGPT中的损失评估，量化步骤可靠性。如果分数低于阈值（e.g., 0.8），代理回滚并重试。
-
工具 grounding：集成外部工具如搜索引擎或知识库，验证关键事实。参数设置：对于高风险步骤（如数据提取），强制工具调用；阈值：如果工具返回置信度<90%，标记为不确定并暂停。Karpathy在讨论代理时指出，工具使用可减少幻觉，但需参数化以避免过度调用（e.g., 每步最多3次查询，超时5s）。
-
循环迭代：设置最大迭代次数（e.g., 3次/步骤），若验证失败，代理分解子任务重规划。证据显示，这种循环可将幻觉传播率降低至20%以下，基于类似ReAct框架的实验。
落地清单：
- 参数：验证阈值0.75-0.9（基于BLEU或自定义分数）；迭代上限3；工具超时阈值10s。
- 监控点：日志每个验证分数，警报率>10%的步骤；回滚策略：恢复上一步状态，成本<1%总计算。
- 风险缓解：预定义黑名单事实（e.g., 实时新闻），若匹配则人工介入。
此机制不需重训模型，仅通过提示工程和工具集成实现，适用于生产代理如客服或代码生成。
混合人-AI监督：人类作为安全阀
纯AI执行易受幻觉影响，Karpathy建议混合监督：AI主导低风险步骤，人类介入高风险决策。这种hybrid模式类似于Tesla的自驾验证循环，人类监督边缘案例[1]。核心是动态升级（escalation）机制，确保可靠执行。
-
风险分类：预分类任务步骤为低/中/高风险（e.g., 数据查询低风险，决策高风险）。使用规则：如果验证分数<0.7或涉及敏感数据，升级人类。
-
人类接口：构建简单UI，如Slack集成或Web面板，显示代理状态和验证日志。参数：响应超时30s，若超时则代理暂停。Karpathy的观点支持此设计：人类提供过程监督，避免RL的噪声[1]。
-
反馈闭环：人类修正后，代理蒸馏反馈（e.g., fine-tune小LoRA适配器），实现持续改进。阈值：每周反馈>50条时触发微调，学习率1e-5。
证据：类似OpenAI的human-AI协作实验显示，混合模式将错误率降至5%以下，远优于纯AI。相比纯RL，过程监督更可靠，避免最终奖励的偏差。
落地清单：
- 参数：风险阈值0.7；升级频率<5%/任务；反馈批次大小100条。
- 监控点：追踪升级率，若>15%则优化代理提示；回滚：人类否决后重启步骤，日志所有交互。
- 策略：分层监督——初级人类审阅日志，高级审阅决策；成本控制：自动化80%低风险。
工程参数与部署建议
为生产落地，定义核心参数：
- 验证循环：每步检查1-2次，自省提示长度<500 tokens；工具集成：API限速10/min。
- 混合监督：人类负载<20%总步骤；escalation规则：基于置信度+敏感度复合分数。
- 整体阈值：任务成功率>95%；幻觉检测F1>0.85；监控仪表盘：实时可视化传播链。
回滚策略：若累计错误>3步，终止任务并通知；A/B测试：10%流量启用新循环，比较基线。
通过这些机制，AI代理的多步规划从脆弱链条转为鲁棒系统。Karpathy的洞见提醒我们，可靠性源于工程化验证，而非规模堆砌。未来，结合持续学习，此框架将支撑代理在复杂生产场景的可靠执行。
（字数：1028）
[1] Karpathy, A. (2025). Dwarkesh Podcast: AGI is still a decade away.
[2] Karpathy, A. (2023). nanoGPT GitHub Repository.