Google AI Edge Gallery 是 Google 于 2025 年推出的端侧机器学习演示应用，旨在让用户在移动设备上本地运行开源大语言模型。与传统云端 AI 服务不同，Gallery 实现了完全离线运行，所有推理过程均在设备本地完成，确保用户数据的隐私性。本文从工程实践角度，深入剖析其基于 Kotlin 的架构设计与本地推理核心技术。

一、整体架构与技术选型

Google AI Edge Gallery 采用现代化的 Android 开发技术栈，核心构建于 Kotlin 语言之上，辅以 Jetpack Compose 构建声明式用户界面。从代码组织层面来看，项目采用模块化结构，将 UI 层、业务逻辑层与推理层清晰分离。UI 层使用 Jetpack Compose 实现响应式界面，支持多标签页切换与实时交互；业务层负责模型下载、会话管理与参数配置；推理层则直接对接 LiteRT 运行时，完成模型加载与推理执行。

Gallery 的技术栈选择体现了 Google 对端侧 AI 能力的系统化布局。LiteRT（Lightweight Runtime）作为核心推理引擎，提供了轻量化的模型执行环境，能够在移动设备上高效利用 CPU 与 GPU 资源。MediaPipe LLM Inference API 则封装了复杂的模型调度逻辑，提供统一的推理接口，开发者无需关心底层硬件差异即可实现模型推理。这种分层设计使得 Gallery 既能作为演示应用展示端侧 AI 能力，也可作为二次开发的参考模板。

项目使用 Gradle Kotlin DSL 进行构建配置，依赖管理清晰规范。主要依赖包括 Jetpack Compose 组件库、MediaPipe LLM Inference、LiteRT 运行时以及 Hugging Face 模型加载库。值得注意的是，Gallery 支持从 Hugging Face 官方模型库直接下载兼容模型，这一特性极大降低了用户获取模型的门槛，同时也为开发者提供了灵活的模型扩展能力。

二、端侧推理核心：LiteRT 与 MediaPipe 集成

端侧推理的核心挑战在于如何在有限的硬件资源下实现高效的模型执行。Google AI Edge Gallery 通过 LiteRT 运行时解决这一难题。LiteRT 是 Google 专为移动端优化的推理框架，能够将训练好的模型转换为高度优化的执行格式，显著降低内存占用与推理延迟。与传统的 TensorFlow Lite 相比，LiteRT 在大语言模型场景下进行了专门优化，支持更长的上下文窗口与更快的 token 生成速度。

MediaPipe LLM Inference API 在 Gallery 架构中扮演着关键角色。它封装了模型加载、推理调度与结果解析的完整流程，提供了简洁的编程接口。开发者只需配置模型路径、推理参数（如 temperature、top-k、top-p），即可启动推理任务。API 内部自动处理了 GPU 内存分配、线程调度与量化推理等底层细节，使得上层业务逻辑得以专注于用户体验优化。

在实际工程实践中，模型加载是影响应用启动体验的关键环节。Gallery 实现了模型预加载与按需加载相结合的策略：应用启动时仅加载必要的 UI 组件，模型则在用户首次使用时异步加载。加载过程支持断点续传，避免网络中断导致重复下载。推理过程中，Gallery 实现了流式输出机制，用户可以在 token 生成过程中实时看到响应内容，这一设计显著提升了交互流畅度。

三、模型管理和性能基准测试

Gallery 内置了模型管理与基准测试模块，这是其区别于其他演示应用的重要特性。用户可以在应用内直接浏览、下载和管理多个开源模型，包括最新的 Gemma 4 系列。模型管理界面提供了清晰的存储空间占用显示与下载进度指示，用户可以根据设备存储情况灵活选择模型版本。

基准测试模块允许用户评估不同模型在特定设备上的实际性能表现。测试指标涵盖首 token 延迟（Time to First Token）、每秒生成 token 数（Tokens Per Second）以及内存占用等关键参数。这些数据对于开发者选择适合目标机型的模型版本具有重要参考价值。值得注意的是，同一模型在不同设备上的性能差异可能高达数倍，因此本地基准测试是优化端侧 AI 体验的必要步骤。

从工程角度，模型量化是平衡性能与资源消耗的关键技术。Gallery 支持 INT4、INT8 等多种量化格式，量化后的模型体积通常可减少 50% 以上，同时推理速度提升显著。量化过程在模型下载阶段自动完成，用户无需手动配置。对于高端设备，Gallery 建议使用较高精度格式以获得更好的生成质量；对于中低端设备，则自动选择更激进的量化策略以保证流畅运行。

四、本地推理的工程实践参数

基于 Gallery 的架构设计，端侧 ML 应用开发可遵循以下工程实践参数。首先是内存管理方面，建议单次推理的峰值内存占用控制在设备可用内存的 60% 以内，预留足够空间给系统与 UI 组件。LiteRT 提供了内存水位监控接口，应用可以据此动态调整模型复杂度或触发内存清理。

推理参数配置需要根据具体使用场景进行调优。对于需要严谨逻辑推理的场景，建议将 temperature 设置在 0.1 至 0.3 之间，top-p 保持在 0.9 以上；而对于创意生成场景，可将 temperature 提升至 0.7 至 1.0，top-p 适当降低以增加输出多样性。max_tokens 参数则需根据设备内存与响应速度要求权衡设置，通常 512 至 1024 token 可满足多数交互场景。

错误处理与降级策略是保障应用稳定性的重要环节。Gallery 实现了完善的异常捕获机制，当推理过程出现内存不足或模型加载失败时，会自动尝试降级至更轻量的模型版本，并向用户提示当前运行状态。同时，应用内置了超时机制，单次推理超过 30 秒未完成时自动终止并提示用户重试，这些细节设计共同保证了生产级别的使用体验。

五、隐私优先的架构设计

Gallery 最重要的设计理念之一是 100% 端侧隐私保护。所有模型推理均在设备本地执行，用户输入的文本、选择的图片均不会上传至任何服务器。这一特性不仅满足了数据敏感场景的需求，也使得 Gallery 可以在飞行模式下正常运行，真正实现了 AI 能力的离线可用。

从架构层面实现隐私保护需要多层面的技术保障。应用层面，Gallery 在权限声明中明确说明无需网络权限即可实现完整功能；运行时层面，所有模型文件存储在应用的私有目录中，其他应用无法访问；推理层面，LiteRT 运行时与系统底层紧密集成，推理过程中的中间数据不会持久化到磁盘。这些措施共同构成了端侧 AI 的隐私防线，为用户提供了安全可信的使用环境。

Google AI Edge Gallery 作为端侧 ML 演示应用的标杆之作，其 Kotlin 架构设计与 LiteRT 推理引擎的结合为开发者提供了极具参考价值的工程实践案例。随着移动设备算力的持续提升，端侧 AI 将成为 AI 应用的重要形态，而 Gallery 所展示的技术路线无疑具有前瞻性意义。

资料来源：GitHub google-ai-edge/gallery 项目仓库