随着 ChatGPT、Perplexity 等 AI 浏览器逐步渗透日常网络访问，网站运营者面临一个新兴命题：自身站点是否已经准备好被 AI Agent 顺畅访问与调用？Cloudflare 于 2026 年 4 月 16 日推出的 IsItAgentReady（isitagentready.com）正是为解决这一需求而生的评估工具。该工具从五大维度对网站进行自动化扫描，给出兼容性评分与改进建议，帮助站点快速对齐正在兴起的多项 Agent 协议标准。
五大检查维度解析
IsItAgentReady 的检查框架覆盖了从基础可发现性到高级商业协议的全链路，每一维度对应不同的技术实现层级。
Discoverability（可发现性） 是最基础的检查项，评估爬虫能否顺利找到网站内容。核心检查点包括：是否存在有效的 robots.txt 文件、是否提供 XML 站点地图（sitemap.xml）、以及是否在 HTTP 响应头中暴露 Link 字段。Link 响应头是一种新兴的元数据声明方式，允许服务器在 HTTP 响应中直接告知客户端关键资源的 URI，AI Agent 可借此快速定位站点结构而无需解析完整页面。运维团队应确保 robots.txt 明确声明允许爬取的路径，同时在根路径返回标准化的 sitemap 引用。
Content Accessibility（内容可访问性） 关注内容本身的格式是否利于机器解析。Markdown 内容协商（Markdown negotiation）是这一维度的核心标准。传统网页以 HTML 形式返回给浏览器，而 AI Agent 更擅长处理结构化的 Markdown 文本。Cloudflare 推荐的实现方式是在 HTTP 请求的 Accept 头中识别 application/markdown 或 text/markdown 倾向，并据此返回对应格式的内容。开发者可通过检查请求头的 Accept 字段，根据客户端类型动态返回 Markdown 或传统 HTML，从而提升内容的机器可读性。
Bot Access Control（机器人访问控制） 评估站点对 AI 爬虫的授权策略。与传统的搜索引擎爬虫不同，AI Agent 可能携带特定的 User-Agent 标识或通过 OAuth 进行身份认证。站点应在 robots.txt 中明确声明对各类 AI Bot 的访问规则，同时可关注 Cloudflare 提出的 Content Signals 与 Web Bot Auth 方案。Content Signals 允许站点在页面元数据中声明内容的授权范围和使用条件，Web Bot Auth 则提供了标准化的机器人身份验证流程。配置时需注意在安全与可访问性之间取得平衡，避免过度限制导致有效内容被误拒。
Protocol Discovery（协议发现） 是最具技术深度的维度，涉及多项新兴标准的检测。MCP（Model Context Protocol）服务器卡片是检查重点之一，符合规范的站点应提供描述其服务能力的元数据文件，使 AI Agent 能够自动发现可调用的接口。Agent Skills 声明、API Catalog、OAuth 发现机制以及 OAuth Protected Resource（RFC 9728）均在检查范围内。WebMCP 作为 MCP 的 Web 化扩展，也在评估之列。对于提供 API 服务的站点，建议在 /.well-known/ 路径下暴露标准化的服务描述文件，便于 AI Agent 自动发现并接入。
Commerce（商业协议） 维度检验站点对 Agentic Commerce 的支持程度。x402 是基于 HTTP 402 状态码的支付协议扩展，允许在 HTTP 请求中直接携带支付信息，适用于微交易场景。UCP（Universal Commerce Protocol）与 ACP（Agentic Commerce Protocol）则是更宏观的商务交互框架，定义了 AI Agent 代表用户完成购买、订阅等操作的标准流程。支持这些协议意味着站点能够被 AI Agent 自动化地纳入商业决策链路。
可落地参数与配置清单
基于上述检查维度，站点运维者可以按照以下清单逐项优化。首先在可发现性层面，确保根域名下存在有效的 robots.txt，并在其中至少声明 Allow: / 或针对敏感路径的 Disallow: 规则；同时部署标准化的 sitemap.xml 并在 robots.txt 中通过 Sitemap: 指令引用。站点地图应包含最近更新时间戳与优先级信息，便于爬虫高效遍历。
在内容可访问性方面，建议实现内容协商机制：当检测到请求 Accept 头包含 text/markdown 或 application/markdown 时，返回对应的 Markdown 版本。可在 Nginx 配置中通过 $http_accept 变量实现条件判断，也可在应用层框架中统一处理。初期可从关键页面（如文档页、产品介绍页）开始试点，逐步扩展覆盖范围。
机器人访问控制的配置需要在 robots.txt 中明确标注 AI 爬虫的访问规则。例如添加 User-agent: GPTBot 或 User-agent: Claude-Web 的访问策略声明，同时可选地通过 <meta name="robots" content="noai"> 或 <meta name="ai+bot" content="noindex"> 标签进行页面级控制。对于需要身份验证的 API 端点，建议遵循 OAuth 2.0 规范实现授权流程，并在 RFC 9728 定义的 OAuth Protected Resource 端点中暴露元数据。
协议发现层面的改进依赖于站点自身能力的暴露。若站点提供 API 服务，应在 /.well-known/mcp.json 或类似路径提供 MCP 服务器描述文件，包含服务名称、版本、可用工具列表等信息。Agent Skills 的声明可参考 agentskills.io 定义的格式，在页面元数据或独立 JSON 文件中描述站点可被 AI Agent 调用的能力集。
商业协议的支持目前仍处于早期采用阶段，但如果站点涉及数字商品销售或订阅服务，建议关注 x402 协议的实现路径。UCP 与 ACP 的标准化工作仍在推进中，可通过阅读 agenticcommerce.dev 与 ucp.dev 的最新规范保持跟进。
监控与持续优化
IsItAgentReady 不仅提供单次扫描，还通过 Cloudflare Radar 追踪各项标准的行业采用率。运维团队可定期执行扫描并将结果纳入站点健康监控，结合 Lighthouse 或其他可访问性工具形成综合评估。值得注意的是，AI Agent 生态仍处于快速演进阶段，今天的检查标准可能在未来数月内扩展或调整，因此建议将 Agent 兼容性纳入技术债务管理的长期规划。
资料来源：IsItAgentReady 官方网站（https://isitagentready.com）以及 Cloudflare 官方博客对 Agent Readiness 评分工具的介绍。