在 LLM 驱动的浏览器自动化领域，动态 UI 变化是常见挑战，如网站布局调整、弹窗干扰或异步加载内容。这些变化会导致传统基于 XPath 或 DOM 选择器的脚本失效，而 Skyvern 通过工程化的视觉反馈循环，提供了一种鲁棒的解决方案。该机制利用计算机视觉（CV）和大型语言模型（LLM）的结合，实现实时感知、迭代修正和动作优化，确保自动化流程在不确定环境中稳定运行。
Skyvern 的核心架构是 Planner-Actor-Validator 代理循环，这构成了视觉反馈循环的基础。Planner 负责将用户的高级提示分解为子任务，例如“在 Amazon 添加 iPhone 到购物车”会被拆解为“导航到产品页、识别添加按钮、确认购物车更新”。Actor 使用 Playwright 控制浏览器，执行具体动作如点击或输入，同时捕获视口截图作为视觉输入。Validator 则通过视觉 LLM（如 GPT-4o）分析截图和页面状态，验证动作是否成功。如果检测到失败（如按钮未响应或 UI 变化导致元素偏移），它会生成反馈报告回 Planner，触发迭代调整。这种循环类似于人类浏览行为：观察（视觉输入）、决策（LLM 推理）、执行（浏览器操作）、验证（状态检查），并通过反馈闭环适应变化。
证据显示，这种设计显著提升了自动化可靠性。在 WebVoyager 基准测试中，Skyvern 2.0 达到了 85.85% 的准确率，特别是在 WRITE 任务（如表单填写、登录）上表现突出。传统方法在 UI 变化时失败率高达 50%以上，而 Skyvern 的视觉反馈机制通过迭代 CV 修正，降低了 30% 的错误。例如，在处理 Geico 保险报价表单时，如果问题顺序因 A/B 测试而变，Validator 会识别视觉不匹配，并让 Planner 重新规划路径，避免死循环。“Skyvern 2.0 通过添加验证阶段，确保代理能实时调整失败动作。”（Skyvern 官方博客）。此外，该系统在多网站应用中表现出色，能将单一工作流泛化到数百个站点，而无需重写代码。
要落地这种视觉反馈循环，需要关注关键参数和监控点。首先，选择合适的 LLM 模型：推荐 GPT-4o 或 Claude 3.5 Sonnet 作为视觉骨干，支持多模态输入。设置最大迭代次数为 5-10 次，避免无限循环；每个循环的超时阈值为 30 秒，防止卡在加载状态。视觉输入分辨率应为 1920x1080，确保元素清晰识别；使用 YOLO 或类似对象检测预处理截图，提高定位精度。
工程化清单如下：
-
初始化阶段：
- 配置 Playwright 浏览器：headless=False 以便调试，viewport={'width': 1920, 'height': 1080}。
- 加载 LLM API 密钥，确保支持视觉（如 OpenAI 的 vision=True）。
- 定义任务提示模板：包含目标、约束（如“优先视觉匹配而非 DOM”）和错误处理指令。
-
循环执行参数：
- Planner 提示：使用零样本或少样本示例，强调分解为原子动作（e.g., “识别按钮文本为‘Add to Cart’”）。
- Actor 动作阈值：点击容差 5-10 像素，输入验证使用模糊匹配（Levenshtein 距离 < 0.2）。
- Validator 检查点：定义成功指标，如“购物车图标数字增加”或“确认消息出现”。失败时，生成 delta 报告（变化描述）。
-
监控与回滚：
- 日志级别：记录每个循环的截图、LLM 输出和状态变化，便于事后分析。
- 异常阈值：如果 3 次迭代失败，触发回滚到手动模式或备用路径。
- 性能指标：监控 token 消耗（目标 < 5000/任务）、延迟（< 2 分钟/循环）和成功率（> 80%）。
在实际部署中，考虑成本优化：使用 GPT-4o-mini 作为 Validator 的轻量版，减少 API 调用；集成缓存机制，存储常见 UI 模式以加速匹配。对于高负载场景，部署到云浏览器如 Skyvern Cloud，支持并行执行和反检测代理。
风险包括 LLM 幻觉导致误识别（缓解：多模型投票）和隐私泄露（解决方案：本地 Ollama 运行开源视觉模型）。总体而言，这种反馈循环将浏览器自动化从刚性脚本转向自适应代理，适用于 RPA、数据采集和测试等领域。
资料来源：