AGENTS.md 作为跨 AI 编码工具的标准化指令文件，正在成为团队协作的共识层。然而，配置文件的调优往往依赖主观判断，缺乏可量化的反馈闭环。本文探讨如何将自动化研究（autoresearch）模式应用于 AGENTS.md 配置的迭代优化，以真实任务为基准建立度量体系，实现配置调优的工程化落地。
配置调优的核心挑战
AGENTS.md 的设计目标是成为 "单一事实来源"（single source of truth），涵盖项目概述、编码规范、记忆持久化规则和代理交互模式。CLAUDE.md 则在此基础上扩展 Claude Code 特定能力，如子代理调用、MCP 服务器引用和斜杠命令。这种分层架构虽提升了可维护性，却也引入了配置漂移风险：当团队规模扩大或项目演进时，通用规则与工具特定规则之间容易产生不一致。
更深层的问题是效果度量。传统做法依赖开发者主观体验评估配置质量，难以捕捉细微的回归或渐进式改进。缺乏客观指标意味着无法判断某次修改是优化还是劣化，也无法在多个候选配置间做出数据驱动的选择。
自动化研究循环的架构
Karpathy 提出的自进化代理模式为解决上述问题提供了框架。核心是一个四阶段循环：修改配置→执行任务→多维度评估→保留或回滚。这一模式的关键在于将配置优化转化为可度量、可迭代的实验过程。
评估层需要混合使用确定性检查与语义判断。确定性检查验证关键实体是否保留、长度约束是否满足；语义判断则通过向量相似度衡量输出与预期的内容保真度；最后由 LLM 基于明确评分标准给出整体质量分。这种多维度评估避免了单一指标的盲区，同时保持了评估的自动化程度。
版本化管理是另一支柱。每次配置修改都应生成带版本号、时间戳和模型标识的记录，并与评估结果关联。当新配置的综合评分超过历史最佳值且满足预设阈值时，方可晋升为生产版本；否则自动回滚至上一稳定配置。这种机制确保了实验的安全边界。
四层迭代框架的实践
将上述理念落地到 AGENTS.md 配置优化，可构建四层迭代框架：
基线建立层：选取具有代表性的真实任务作为评估基准，如代码重构、文档生成或测试用例编写。任务应覆盖配置影响的核心场景，且输出可被客观评判。初始 AGENTS.md 作为基线配置，记录其评估得分作为比较基准。
修改生成层：限制每次迭代的操作空间，优先进行小范围提示修改，如调整系统指令的强调重点、细化特定领域的术语保留要求，或优化长度约束的表达方式。避免同时修改多个维度，以隔离变量效果。
评估执行层：针对每个候选配置运行基准任务集，收集四类指标 —— 实体保真度（关键术语是否正确保留）、格式符合度（输出结构是否遵循规范）、语义相似度（与预期输出的向量距离）、整体质量分（LLM 基于评分标准的综合判断）。设定 0.75 作为宽松通过阈值，低于此值的配置直接淘汰。
决策推广层：计算各配置的综合得分，选择表现最优的版本。若其得分显著高于基线且通过阈值检验，则晋升为新的生产配置；否则保留原配置并分析失败原因。所有实验数据应持久化存储，支持事后审计和模式挖掘。
可落地的参数与清单
实施上述框架时，以下参数和检查项可直接采用：
文件规模控制：AGENTS.md 和 CLAUDE.md 各自控制在 300 行以内，过长的文件会降低解析效率并增加规则冲突概率。使用显式的要点列表而非冗长叙述，Claude Code 对清晰的命令式提示响应更佳。
评估阈值设定：单一指标优化策略，每轮迭代聚焦一个主要目标（如提升实体保真度或降低输出长度方差）。综合评分采用多指标加权平均，权重根据业务优先级调整。
迭代频率管理：配置修改与模型版本变更隔离，避免同时引入多个变量。小步快跑，每次修改后快速验证，单轮迭代周期控制在 30 分钟内完成。
回滚机制：自动回滚触发条件包括 —— 综合评分低于 0.75、任一关键指标归零、或连续三轮迭代无改进。保留最近 10 个稳定版本，支持手动回滚到任意历史点。
可观测性要求：记录每次运行的输入样本、输出结果、评分详情和评分理由。配置版本与评估运行 ID 关联，形成完整的实验链路。
风险边界与限制
自动化配置优化存在固有局限。首先是评估器过拟合风险 —— 配置可能针对评估标准而非真实效用进行优化，导致 "高分低能" 现象。缓解策略是定期引入人工抽检，验证自动化评分与实际体验的一致性。
其次是质量天花板。当配置迭代进入平台期，边际收益递减，此时应暂停自动化循环，转入人工深度分析。盲目增加迭代次数可能引入噪声而非改进。
安全与合规领域需特别谨慎。涉及敏感代码规范或监管要求的配置变更，必须保留人工审核环节，不可完全交由自动化决策。
结语
AGENTS.md 配置的自动化迭代优化将主观经验转化为可度量、可复现的工程实践。通过建立真实任务基准、实施多维度评估、采用版本化管理和设定明确阈值，团队能够以数据驱动的方式持续改进 AI 编码助手的表现。这一方法不仅适用于 AGENTS.md，也可迁移至其他 AI 配置文件的调优场景，为 AI 辅助开发建立更坚实的工程基础。
参考来源
- AGENTS.md vs CLAUDE.md: What's the Difference and When to Use
- Karpathy's Autoresearch: AI That Runs Its Own Experiments
内容声明：本文无广告投放、无付费植入。
如有事实性问题，欢迎发送勘误至 i@hotdrydog.com。