当我们讨论 AI 智能体的自主性时，通常会引用基准测试中的能力评估成绩 —— 比如模型在长程任务上的成功率或任务完成时间。然而，这些预部署评估无法回答一个根本性的问题：智能体在实际生产环境中究竟行使了多少自主权？这种自主权与风险之间如何权衡？Anthropic 在 2026 年初发布的研究提供了大规模实测数据，其方法论对工程团队具有重要参考价值。本文将从操作指标设计、数据采集管道、规模化部署三个维度，剖析生产环境中测量智能体自主性的工程实践挑战。
为什么生产环境测量是独立的研究问题
预部署评估与生产环境测量之间存在本质差异。METR 组织的长程任务评估显示，Claude Opus 4.5 能在理想条件下以 50% 成功率完成人类需要近 5 小时的任务。但这只是模型能力的上限表达。在实际部署中，智能体会因各种因素而降低自主性：用户可能频繁干预以确认每一个操作步骤，产品设计可能限制智能体可调用的工具范围，系统提示词可能明确要求在特定场景下暂停请求人类批准。这些因素共同构成了 Anthropic 所称的 “自主性共同构建” 现象 —— 自主性不是模型的固定属性，而是模型行为、用户监督策略与产品设计三者交互的产物。
这一认识直接影响了指标设计思路。我们不应试图测量一个抽象的 “智能体能力”，而应测量特定部署场景下智能体实际展现的行为特征。这要求我们在设计指标时兼顾可操作性（能够从生产数据中直接计算）与可比性（不同部署之间可横向对比）。
核心操作指标的设计逻辑
Anthropic 的核心方法是将自主性和风险量化为每次工具调用维度的评分，具体采用 1 到 10 的统一量表。自主性评分反映智能体相对于人类显式指令的独立程度：低分意味着严格遵循人类每一步指示，高分意味着智能体自主决定操作方式与执行时机。风险评分衡量操作失误的潜在后果严重程度：从可逆的、低影响的操作（如编辑代码行）到可能导致实质性伤害的不可逆操作（如执行金融交易或修改医疗记录）。
这两个维度的组合提供了比单一指标更丰富的洞察。例如，在 Anthropic 的公开 API 数据中，“自动执行加密货币交易以获取利润” 这类操作的自主性评分高达 7.7，但风险评分仅为 2.2—— 表明智能体在此类任务上获得了较高自由度，但实际风险被控制在较低水平。相反，“搬运金属钠和活性化学容器” 这类高风险实验室操作，自主性评分仅为 2.9，说明用户在此类场景下保持了对智能体的严格控制。这种风险 - 自主性矩阵为安全团队提供了直观的监控视图。
除这两个核心指标外，Anthropic 还追踪了若干派生指标。人工介入率（Human-in-the-loop Rate）衡量每次工具调用中人类以何种形式参与决策过程，包括批准、澄清请求或主动中断。数据显示，约 73% 的公开 API 工具调用具有某种形式的人工介入。不可逆操作率（Irreversibility Rate）识别那些一旦执行便难以撤销的操作（如发送邮件、执行生产环境部署），该比例仅约 0.8%。这些派生指标为工程团队提供了更具体的告警阈值依据。
数据采集管道的工程挑战
将上述指标概念转化为可运行的采集管道，需要解决一系列工程问题。首先是会话重建问题。在公开 API 场景中，Anthropic 无法直接获知客户将哪些独立请求组合为一次智能体会话 —— 因为模型提供商通常不掌握客户在客户端构建的智能体架构。为此，Anthropic 采用了一种务实的方案：将分析粒度降为单次工具调用，放弃重建完整会话的努力。这意味着我们只能观察离散动作，无法追踪跨多个步骤的复杂行为链。这一权衡在内部产品 Claude Code 中得到了补偿 —— 由于拥有完整的产品控制权，Anthropic 能够追踪完整会话，从而分析会话时长、用户干预频率等会话级指标。
第二个挑战是分类器设计。由于不可能人工标注海量生产数据，Anthropic 采用模型辅助标注的方式：使用 Claude 本身对每次工具调用进行自主性与风险评分。这是一种元级别的操作 —— 用 AI 测量 AI。分类 prompt 设计至关重要，需要明确定义 1 分和 10 分的边界条件，并提供充足的上下文（系统提示词、对话历史、工具定义）供分类器做出判断。Anthropic 承认这种方法的局限性：分类器可能高估人工介入（因为对话中即使是人类输入的分析内容也可能被误判为参与决策），因此他们将 73% 的人工介入率视为上限估计。
第三个挑战是隐私保护与数据可用性的平衡。Anthropic 使用其隐私保护基础设施 CLIO 来执行分析，确保原始用户数据不被暴露，同时仍能提取聚合模式。这一基础设施选择对工程团队具有启示意义：在设计智能体监控系统时，从一开始就需要将隐私合规要求内嵌到数据管道架构中，而非事后补救。
规模化部署的关键工程权衡
将测量系统扩展到生产级别，需要在多个维度上做出权衡。
指标粒度与计算成本的权衡是首要考量。对每次工具调用运行分类模型会产生显著的计算开销。以 Anthropic 的公开 API 规模为例，近百万量级的工具调用需要批量分类处理。工程团队可以选择降低采样频率（如仅对 5% 的调用进行详细分类）、简化分类模型（使用轻量级分类器替代完整模型）、或仅在检测到异常模式时触发深度分析。Anthropic 采用了聚类分析方法，将相似工具调用归类后仅对代表性样本进行评分，这大幅降低了计算量。
实时性与历史分析的权衡影响监控系统的架构设计。如果目标是实时检测高风险行为（如检测到智能体正在执行敏感权限操作），则需要低延迟的流式处理管道。如果目标是分析自主性趋势（如月度报告），则可以采用批处理方式，延迟容忍度更高。Anthropic 的实践表明，两种需求往往并存：他们既追踪 99.9 百分位会话时长这样的长期趋势指标，也维护对异常模式的即时告警能力。
标准化与定制化的权衡体现在指标定义的可迁移性上。Anthropic 的 1-10 评分体系是一个相对量表而非绝对量表 —— 其意义在于比较不同操作之间的相对风险与自主性，而非给出某个分数的绝对解释。这意味着其他团队可以直接采用这一框架，但需要根据自身业务场景调整评分边界。例如，对于一家金融科技公司，“高风险” 操作的定义可能与 Anthropic 数据中的通用定义截然不同。工程团队在实施时通常需要对初始分类结果进行抽样人工校验，确保分类器对自身场景的适用性。
对智能体运维实践的启示
Anthropic 的数据揭示了几个对运维团队具有直接指导意义的模式。第一，经验用户的监督策略呈现明显的转变轨迹：随着使用时间增长，用户更倾向于启用自动批准功能（从新用户的 20% 提升到经验用户的 40% 以上），但同时中断频率也同步上升（从 5% 提升到 9%）。这并非用户放松监督，而是从 “逐步审批” 模式转向 “监控加干预” 模式。理解这一转变对产品设计至关重要：监控系统不应仅追踪人工审批事件，还需要提供足够的可见性让用户能够有效监控智能体行为，并在必要时快速介入。
第二，智能体自身的不确定性识别能力正在成为重要的安全属性。数据显示，在最复杂的任务中，Claude Code 主动请求澄清的频率是人类主动中断频率的两倍以上。这意味着智能体在某种程度上正在 “自我限制” 其自主性 —— 当感到不确定时主动停下来询问人类。这一行为模式是可以通过系统提示词设计来引导的：明确要求智能体在特定条件下暂停并寻求确认，可以作为外部权限系统之外的有效安全层。
第三，领域迁移正在发生。软件工程目前占所有智能体工具调用的近 50%，但医疗、金融、网络安全等高风险领域的应用正在出现。这意味着当前相对安全的整体格局可能会改变：随着智能体进入后果更严重的领域，风险 - 自主性分布的右上象限（高自主性加高风险）可能变得不再稀疏。运维团队需要为这种扩张做好准备，建立与领域风险等级相匹配的监控与干预机制。
Anthropic 的研究表明，有效的智能体治理需要预部署评估与部署后监测的结合。前者回答 “智能体能做什么” 的问题，后者回答 “智能体实际上做了什么” 的问题。对于工程团队而言，这意味着从第一天起就需要设计数据采集基础设施，而不仅仅是在问题发生后试图追溯。当前行业整体处于智能体采用的早期阶段，测量基础设施尚在形成中 —— 这既是挑战，也是建立长期可观测性标准的窗口期。
资料来源：Anthropic 研究团队发布的《Measuring AI agent autonomy in practice》