# 端侧小模型 GUI 代理工程化：Ferret-UI Lite 的 grounding、action 预测与部署实践 > 基于 Apple Ferret-UI Lite，分析构建 3B on-device GUI 代理的工程要点，包括多模态 grounding 优化、合成数据训练管道及移动部署的量化权衡与参数配置。 ## 元数据 - 路径: /posts/2026/02/27/engineering-small-on-device-gui-agents-ferret-ui-lite/ - 发布时间: 2026-02-27T00:31:25+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 站点: https://blog.hotdry.top ## 正文 在移动设备上构建高效的 GUI 代理一直是工程挑战：大模型虽强大，但延迟高、隐私差且功耗大。小模型如 Ferret-UI Lite（3B 参数）证明，通过专项优化，可实现端侧部署，同时在 grounding 基准上媲美 7B 模型。这里的核心观点是：聚焦统一表示、合成数据规模化和 RL 精细化，能让小 VLM 在隐私敏感的 on-device 场景下落地。 首先，多模态 VLM grounding 是 GUI 代理的基础。传统 VLM 处理高分辨率截屏时 token 爆炸，小模型易失真。Ferret-UI Lite 采用 VitDet 图像编码器结合 AnyRes 策略，将截屏动态分区为网格（典型 1k-4k token），支持任意分辨率输入。随后引入视觉工具——zoom-in：模型先全局预测位置，再 crop 该区域（围绕预测点，固定大小如 256x256）输入二次精炼。这模拟人类“放大查看”，特别适合密集 UI 中的小图标/文字。 证据显示，这种设计在 ScreenSpot-Pro（高分辨桌面）上达 53.3%，超多数 3B 基线。“Ferret-UI Lite 在 ScreenSpot-V2 上 grounding 准确率达 91.6%。” RL 阶段用 containment reward：预测点落入 GT bbox 即 +1，提升鲁棒性。 可落地参数/清单： - **AnyRes 配置**：grid_size=7~14（视分辨率），max_patches=1.5k，确保移动端 <2s 推理。 - **Zoom-in 流程**：1. 全局 pred (x,y)；2. crop_radius=128px；3. 二次 pred 用相同 prompt + “refine location”。 - **RL reward**：sparse containment (in bbox=1) 或 dense：max(1 - 0.5 * (dx/w + dy/h), 0)，λ=0.5。 - **阈值**：若二次 pred 偏移 >5%，fallback 全局 pred。 监控点：val set 上 grounding AP@0.5 >85%，否则增高-res 数据比例。 其次，紧凑 action prediction 需统一空间跨平台。Ferret-UI Lite 定义 11 动作：共享如 tap(x,y)、swipe(up/down/left/right)、textentry(texts)、terminate(reason)；平台特异如 long_press(x,y, mobile)、press_hotkey(hotkeys, desktop/web)。用 function-call 格式输出，如 `tap(x=0.45,y=0.67)`，便解析且对齐 LLM tool-use。 训练管道：SFT 先混真实/合成数据（grounding 60%、nav 40%，总 ~10M trajectories）。合成关键：multi-agent rollout——curriculum task gen（难度递增）、planner 分解目标、executor grounding、critic 评估/反馈，生成 online 轨迹；加 perturbations（如错 swipe 后 recovery）提升鲁棒。SFT 10K steps 后，RLVR 用 GRPO：每步 sample 32 outputs，reward = f_type (匹配类型：无参2分、有参1分) + f_param (string exact 或 dense dist)。 证据：合成数据从 13K 到 17K 轨迹，AndroidWorld SR 升 2.8%；RL 后 +3%。“在 OSWorld 上导航成功率 19.8%。” 可落地清单： - **Action space**：优先 8 核心（tap/swipe/text/terminate/move/drag/locate/press_enter），扩展平台特异 <4。 - **数据混比**：grounding:nav=6:4；合成占比 >50%，multi-agent 过滤 VLM-judge (quality>7/10)。 - **RL hyper**：samples=32/step (nav), 8+4 (ground zoom)；steps=1.5K；online filter 同 reward 样本丢弃。 - **CoT 模板**：plan（下一步）、action_think（元素分析）、reflect（目标偏差），GPT-4o gen 用 SoM marks。 部署时，action parser 校验 param 范围 (x,y [0,1] norm)，无效回滚 SFT policy。 最后，量化/部署 tradeoffs。3B 模型 INT8 量化后，iPhone NPU 上推理 ~500ms/step，功耗 <1W，隐私全本地。但长 horizon 任务 SR 仅 20%，因小模型规划弱——观点：先定位短任务（1-5步），渐进多步。 tradeoffs 参数： - **量化**：AWQ/PTQ to 4bit，精度降 <2% grounding；测试 perplexity <3.5。 - **效率**：batch=1，温度=0.7 action sample；max_steps=15 (短任务)，超时回滚。 - **监控/回滚**：实时 reward avg >0.8；SR <15% 降级 cloud；日志：per-action success, zoom usage rate (>30% dense UI)。 - **风险限**：RL diverge（reward drop >10%）→早停；数据 bias（单一平台）→每周 val 多域。 实际部署清单： 1. Pretrain 3B VLM (text+VL mix)。 2. SFT 数据 curation (public+synth)。 3. RLVR finetune。 4. Quantize + on-device benchmark (latency<1s, battery<5%/task)。 5. A/B test vs baseline agent。 Ferret-UI Lite 证明，小模型经工程化可实用，未来结合 distillation 更优。 **资料来源**： - Apple Machine Learning Research: https://machinelearning.apple.com/research/ferret-ui - arXiv 论文: https://arxiv.org/abs/2509.26539 ## 同分类近期文章 ### [NVIDIA PersonaPlex 双重条件提示工程与全双工架构解析](/posts/2026/04/09/nvidia-personaplex-dual-conditioning-architecture/) - 日期: 2026-04-09T03:04:25+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 NVIDIA PersonaPlex 的双流架构设计、文本提示与语音提示的双重条件机制，以及如何在单模型中实现实时全双工对话与角色切换。 ### [ai-hedge-fund：多代理AI对冲基金的架构设计与信号聚合机制](/posts/2026/04/09/multi-agent-ai-hedge-fund-architecture/) - 日期: 2026-04-09T01:49:57+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析GitHub Trending项目ai-hedge-fund的多代理架构，探讨19个专业角色分工、信号生成管线与风控自动化的工程实现。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation-framework/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [LiteRT-LM C++ 推理运行时：边缘设备的量化、算子融合与内存管理实践](/posts/2026/04/08/litert-lm-cpp-inference-runtime-quantization-fusion-memory/) - 日期: 2026-04-08T21:52:31+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 LiteRT-LM 在边缘设备上的 C++ 推理运行时，聚焦量化策略配置、算子融合模式与内存管理的工程化实践参数。