逆向 Rubric 优化：以评估设计为实验平台探索 Agent 能力涌现

传统 Agent 评估往往遵循「先训练、后测试」的线性流程：研究者先基于直觉定义任务，训练模型，再用固定指标衡量表现。这种模式的问题在于，评估标准与模型能力之间缺乏明确的因果链条 —— 当模型表现不佳时，难以判断是能力缺陷还是评估设计本身未能捕捉关键维度。逆向 Rubric 优化（Inverse Rubric Optimization, IRO）提出了一种反向思路：从期望的最终状态出发，先定义「成功」的精确表征，再让评估标准本身成为可优化的对象，从而将评估设计转化为探索 Agent 能力涌现的科学实验平台。

从评估到指导：Rubric 的角色转换

传统 Rubric 的核心功能是事后评判—— 在 Agent 完成轨迹后，根据预设标准给出分数。这种评估性 Rubric 面临两个根本局限：首先，它只能告诉研究者「结果好不好」，却无法指导 Agent 在决策节点「下一步该做什么」；其次，报告级别的粗粒度评分难以定位具体失败环节，导致优化信号稀薄。

Co-ReAct 框架将 Rubric 从评估工具转变为推理时的步骤级指导信号。在每一步工具调用前，Rubric 生成器根据当前轨迹历史输出针对下一步的具体要求（如「需要覆盖的技术细节」「应引用的来源类型」），Agent 据此生成动作，随后独立验证器检查动作是否符合 Rubric 标准，未通过则触发一次重试。这种 Inject-Verify-Retry 循环将 ReAct 的三元组 (Reason, Act, Observe) 扩展为五元组 (Rubric, Reason, Act, Verify, Observe)，使 Rubric 从「裁判」变为「教练」。

关键洞察在于：当 Rubric 被消费于推理时而非训练后，它成为连接评估设计与能力表现的因果中介。通过调整 Rubric 的粒度、权重和激活条件，研究者可以直接观察 Agent 行为的系统性变化，从而建立「评估设计 → 行为模式 → 能力表现」的可追踪链条。

可落地的技术参数

将 IRO 转化为工程实践需要精确的参数配置。基于当前最优实现，以下参数构成可复现的基线：

Rubric 生成器的训练配置：采用 Group Relative Policy Optimization (GRPO) 训练 Rubric 生成器，奖励函数以 Spearman 秩相关系数为核心（权重 0.75），衡量生成的 Rubric 对候选动作排序与专家共识排序的一致性。辅以原子性奖励（权重 0.15，鼓励每条标准检查单一可验证事实）和格式奖励（权重 0.10，确保输出符合预期模式）。训练时使用 3 个不同家族的 LLM 作为专家法官（如 Claude、Gemini、GPT），通过 Borda 计数聚合排名，消除单一模型的偏好偏差。

推理时的验证阈值：验证器接受动作的加权标准满足率阈值设为 τ=0.5。实验表明，21.4% 的步骤会触发验证失败，而允许最多 1 次重试（max_retries=1）在质量提升与计算成本间取得平衡。过多的重试会导致上下文膨胀，反而降低性能。

轨迹级评分策略：不同于单步评分，有效的 IRO 需要轨迹级聚合。在购物助手场景中，四维 Rubric 框架（Shopping Execution 50%、Personalization 20%、Safety 20%、Conversation Quality 10%）已被验证可捕捉 84.7% 的人类评估一致性。每个维度分解为二进制检查（通过 / 失败），替代模糊的序数评分（如 1-5 分），使评分具有确定性 —— 相同轨迹重复评估产生相同结果。

作为实验平台的评估设计

IRO 的核心价值在于将评估设计本身变为可操控的实验变量。研究者可以通过以下方式探索评估指标与能力涌现的因果关系：

Rubric 粒度消融：比较步骤级 Rubric（规定下一步的具体要求）与报告级 Rubric（仅规定最终输出的质量标准）。实验显示，未经训练的报告级 Rubric 不仅无法帮助 Agent，反而可能误导搜索方向，使性能低于基线。这验证了评估设计的因果效力 —— 错误的标准确实导致错误的行为。

验证严格度梯度：通过调整 τ 阈值（如 0.3、0.5、0.7），研究者可以绘制「验证严格度 → 工具调用次数 → 最终答案质量」的响应曲线。数据显示，适度的严格度（τ=0.5）使 Agent 平均执行 6.5 次工具调用（相比基线 5.2 次），检索文档量增加 52%，而引用来源的独特性提升 66%，证明 Rubric 引导 Agent 进行更有针对性的探索而非盲目增加搜索量。

多智能体耦合分析：在模块化多 Agent 系统中，局部优化（单独优化每个子 Agent）与全局优化（联合优化整个系统）的效果差异揭示了评估设计的系统级效应。Sub-agent GEPA 仅能修复原子性错误（如工具调用格式错误），而 MAMuT 等轨迹级优化方法才能解决协调失败（如 Orchestrator 未将关键上下文传递给下游 Agent）。这表明，评估设计的粒度必须与系统架构的耦合程度匹配。

工程实施的关键约束

将 IRO 部署为生产系统需警惕以下陷阱：

Rubric 质量的临界点：实验显示，未经 RL 训练的 Rubric 生成器产生的 Rubric 会使 Agent 性能低于标准 ReAct 基线。这确立了 Rubric 设计的「最低质量门槛」—— 不合格的 Rubric 比没有 Rubric 更糟。生产部署前必须通过专家共识排名校准 Rubric 生成器，目标人类对齐率达到 91% 以上。

法官模型的偏差控制：LLM-as-a-Judge 存在已知的冗长偏见（verbosity bias）—— 更长的回答可能获得更高评分。缓解策略包括：使用多法官共识（至少 3 个不同模型家族）、采用成对比较而非绝对评分、以及将 Rubric 标准锚定在可观察的轨迹证据（如工具输出、引用来源）而非主观判断。

延迟效应与信用分配：在多 Agent 系统中，错误可能在多轮后才显现（如早期歧义在 5 轮后导致错误购物车）。这要求评估设计必须支持轨迹级信用分配—— 通过对比成功与失败轨迹的 Rubric 满足模式，定位关键失败节点。

局限与未来方向

当前 IRO 方法主要作用于固定策略之上的推理增强，尚未与端到端 RL 训练（如 Search-R1、R1-Searcher）结合。将预训练的 Rubric 生成器堆叠在 RL 训练后的 Agent 之上是否能产生协同效应，仍是开放问题。

此外，IRO 依赖于可验证的轨迹证据，对于创造性写作、开放式对话等难以定义客观标准的任务，Rubric 的判别力会下降。扩展 IRO 到非可验证领域需要开发新的奖励建模方法，如基于人类偏好的隐式 Rubric 学习。

总结

逆向 Rubric 优化将评估设计从「事后打分」转变为「事前实验」。通过步骤级 Rubric 注入、验证阈值控制和轨迹级评分，研究者可以建立评估标准与 Agent 能力之间的因果链条。关键工程参数包括：Spearman 秩相关奖励（权重 0.75）、验证阈值 τ=0.5、单次重试限制、以及四维 Rubric 框架。实施时需确保 Rubric 生成器经过充分校准（人类对齐率 >91%），并警惕未经训练 Rubric 的负面效应。作为一种实验平台，IRO 使评估指标设计本身成为可操控的变量，为理解 Agent 能力涌现提供了系统化的方法论基础。

参考来源

• Kang et al., "Co-ReAct: Rubrics as Step-Level Collaborators for ReAct Agents," arXiv:2605.23590, 2026.
• Sheth et al., "Build, Judge, Optimize: A Blueprint for Continuous Improvement of Multi-Agent Consumer Assistants," arXiv:2603.03565, 2026.

ai-systems