在浏览器自动化领域，UI 布局的频繁变化往往导致传统基于 DOM 或 XPath 的选择器失效。Skyvern 作为一款开源的 AI 代理工具，利用视觉 LLM（如 GPT-4o）结合计算机视觉技术，实现对网页元素的智能识别和交互。这种方法的核心在于自适应提示策略，通过动态精炼提示和 few-shot 适应机制，确保模型在无需重新训练的情况下，处理各种布局变异。本文聚焦 Skyvern 中视觉 LLM 的提示工程实践，探讨如何工程化这些策略以提升鲁棒性。
Skyvern 的架构设计是自适应提示策略的基础。它采用 planner-actor-validator 的多代理循环：planner 阶段使用提示分解复杂任务为子目标，actor 阶段基于视觉输入生成交互计划，validator 阶段验证执行结果并反馈调整。这种循环机制本质上实现了动态提示精炼。例如，在 planner 阶段，提示会根据任务目标动态注入上下文，如“将‘添加 iPhone 16 到购物车’分解为导航、搜索、选择和添加步骤”，避免单一提示的幻觉问题。根据 Skyvern 2.0 的技术报告，这种架构将 WebVoyager 基准的准确率从 45% 提升至 85.85%，证明了提示动态调整在处理布局变异时的有效性。
证据显示，自适应提示显著提高了 UI 元素选择的鲁棒性。在 Web Bench 基准测试中，Skyvern 在 write-heavy 任务（如表单填写和文件下载）上领先，准确率达 64.4%。这得益于 actor 阶段的视觉提示设计：模型接收截图和 HTML 片段，提示如“在提供的截图中，识别并选择最匹配‘登录按钮’的 UI 元素，考虑颜色、位置和标签变异”。相比静态提示，这种动态注入视觉上下文的方法，能适应按钮位置从左侧移至右侧，或样式从蓝色变为绿色等变化。Skyvern 的开源代码进一步证实，提示模板支持参数化注入 few-shot 示例，例如包含 3-5 个不同布局下的登录流程截图和对应动作，帮助模型泛化到新 UI。
few-shot 适应是另一关键策略，无需重训即可处理布局变异。Skyvern 通过在提示中嵌入少样本示例，实现快速适应。例如，对于购物车添加任务，提示可包含：“示例1：截图 A（标准布局），点击右上角搜索框；示例2：截图 B（移动端布局），点击底部导航栏搜索图标；现在，对于截图 C，执行类似添加产品操作。”这种方法利用 LLM 的 in-context learning 能力，在 WebVoyager 的多网站导航任务中，few-shot 组的成功率提升 20%以上。报告指出，使用 3-5 个示例即可达到饱和，过多示例则增加 token 消耗而收益递减。
工程化自适应提示需关注可落地参数和清单。首先，提示模板设计：核心模板包括任务描述（<100 词）、视觉上下文（截图 base64 或 URL）、few-shot 示例（3-5 对输入-输出）和约束（如“优先视觉相似度 > 80%”）。温度参数设为 0.2，以降低随机性，确保一致性；max_tokens 限制在 2000 内，避免冗长响应。其次，动态精炼流程：planner 输出子目标后，actor 提示自动注入上一步执行反馈，如“上一步搜索成功，现在精炼为‘点击第一个结果’”。验证阈值：validator 使用相似度阈值 0.9 比较预期 vs 实际状态，若低于阈值则回滚并重新规划。
监控要点包括：1. 元素选择准确率：追踪 actor 阶段的点击成功率，目标 >90%；2. 布局适应失败率：记录因变异导致的 validator 反馈次数，警戒线 <5%；3. Token 消耗：平均每步 <500 tokens，超标优化提示长度；4. 延迟：全循环 <30 秒，适用于实时应用。回滚策略：若连续 3 次验证失败，fallback 到手动干预或简化任务。
风险与限制：提示依赖模型质量，GPT-4o-mini 等轻量模型在复杂变异下幻觉率高（~10%），需结合 validator 缓解；极端布局（如重度 JavaScript 动态加载）可能需额外工具集成。总体，自适应提示策略使 Skyvern 在生产环境中可靠运行，如自动化发票下载或求职申请，证明了提示工程在视觉 LLM 鲁棒性提升中的核心作用。
通过这些实践，开发者可复现 Skyvern 的成功：从模板起步，迭代 few-shot 数据集，监控指标闭环。未来，随着多模态模型进步，这种无重训适应将进一步扩展到更复杂 UI 场景。（字数: 1028）