LiteRT-LM 是 Google 于 2024 年推出的生产级边缘 LLM 推理框架，其核心运行时采用 C++ 实现，代码占比高达 76.7%。该框架已在 Chrome 浏览器、Chromebook Plus 以及 Pixel Watch 等设备上实现规模化部署，覆盖 Android、iOS、Web、桌面端和树莓派等多元终端。最新版本 v0.10.1 于 2026 年 4 月发布，引入了 Gemma 4 模型支持与 LiteRT-LM CLI 工具，标志着边缘推理能力的进一步成熟。

C++ 运行时三层架构

LiteRT-LM 的运行时设计采用清晰的三层结构，这种分层方式在保证性能的同时提供了良好的抽象层次。

模型资产层（ModelAssets） 负责加载模型权重、配置文件和分词器。模型以 GGUF 或 SafeTensors 格式分发，经过量化处理后体积可降至原始大小的四分之一甚至更低。该层还处理模型的元数据解析，包括注意力机制类型、层数和隐藏维度等关键参数，为后续的推理执行提供基础配置信息。

引擎与运行时层（Engine / CompiledModel） 是整个框架的性能核心。LiteRT 的底层运行时提供 CompiledModel API 作为现代推理路径，取代了早期的 Interpreter 接口。该 API 支持自动硬件选择、异步执行以及跨 CPU、GPU 和 NPU 的高效缓冲管理。在实际推理过程中，引擎会预分配计算缓冲区，避免在 token 生成阶段进行频繁的内存分配操作，这对于边缘设备上追求稳定延迟至关重要。

对话编排层（Conversation / ConversationConfig） 提供 LLM 特有的高层抽象，包括多轮会话状态管理、工具调用（Function Calling）以及生成参数控制。该层封装了 prompt 模板构建、响应解析和流式输出等逻辑，使开发者无需关注底层推理细节即可实现完整的对话功能。

边缘部署的四大优化策略

在边缘设备上部署 LLM 需要在计算资源、内存带宽和功耗之间寻找平衡点。LiteRT-LM 官方文档和社区实践总结出以下四项核心优化策略。

量化（Quantization） 是最直接也是效果最显著的优化手段。LiteRT-LM 支持 INT4、INT8 等多种量化精度，量化后的模型可以在移动端芯片上实现接近无损的推理性能。以 Gemma 2B 模型为例，INT4 量化可将模型大小从约 8GB 压缩至 2GB 左右，同时推理速度提升 2 到 3 倍。建议在生产环境中优先测试 INT4 量化版本，根据具体硬件能力决定是否使用 INT8。

硬件感知后端选择（Hardware-Aware Backend Selection） 是 LiteRT 运行时的重要特性。框架能够自动检测设备上的可用加速器（GPU、NPU 或 DSP），并将计算密集型操作卸载到对应硬件上。在 Android 设备上，运行时优先使用金属着色器（Metal）或 Vulkan 计算；在桌面端则倾向于 CUDA 或 OpenCL。开发者可通过 EngineSettings 中的后端配置参数显式指定执行设备，但在大多数场景下让运行时自动选择即可获得最佳性能。

零拷贝缓冲与预分配（Zero-Copy Buffer & Preallocation） 是降低延迟的关键技术。LiteRT-LM 在模型加载阶段预先分配推理所需的全部缓冲区，在 token 生成过程中避免任何动态内存分配。这种设计使得推理延迟的可预测性大幅提升，非常适合对响应时间敏感的交互场景。监控要点在于检查初始化阶段的内存峰值，确保不超过设备可用内存的 70%，留下足够余量给操作系统和其他应用。

管道简化（Pipeline Simplification） 涉及对推理管道的端到端审视。分词（tokenization）和解码（decoding）是两个常见的瓶颈来源。LiteRT-LM 建议使用 Rust 实现的分词器以获得更好的性能，同时避免在推理循环中引入不必要的状态序列化和反序列化操作。对于多轮对话场景，应复用同一个 Conversation 实例而非每次请求创建新实例，这样可以利用内部缓存的状态向量。

工程落地参数清单

以下是边缘部署时可参考的量化配置参数，实际数值需根据目标硬件进行调优：

参数 推荐值 说明
量化精度 INT4 首选，适用于大多数边缘设备
批处理大小 1 边缘场景建议单请求处理以控制延迟
最大生成长度 512-1024 根据设备内存调整
温度参数 0.7 生成质量与多样性的平衡点
预分配缓冲区 全部 避免推理过程中的动态分配

监控指标应重点关注首次推理延迟（首次 token 生成的 TTFT）、每秒生成的 token 数（TPoT）以及内存占用波动。这些指标可通过 LiteRT-LM 内置的性能分析接口获取，建议在 CI 流程中建立基线测试，确保每次模型更新不会导致性能退化。

资料来源