Frigate NVR 边缘 AI 推理架构与部署实践

在 IP 摄像头普及的今天，传统的持续录制式 NVR 面临存储浪费与检索困难的双重挑战。Frigate 作为一款开源的网络视频录像机，通过将边缘 AI 推理引入视频监控场景，实现了 "按需检测、事件驱动" 的智能化转型。本文将深入解析其技术架构，并提供可落地的部署配置建议。

两级流水线：从运动感知到目标检测

Frigate 的核心设计哲学是 "只在必要时运行 AI"。系统采用两级流水线架构：

第一级：轻量级运动检测。基于 OpenCV 的帧差分算法，以极低的计算成本识别画面变化区域。这一步不消耗 AI 加速器资源，仅用于筛选出 "值得进一步分析" 的帧。

第二级：AI 目标检测。当运动检测触发后，系统才将对应区域送入目标检测模型。这种设计显著降低了推理负载 —— 据社区实测，对于典型家庭场景，运动检测可将 AI 推理的触发率降低 80% 以上。

检测器运行在独立的进程中，通过共享队列接收来自所有摄像头的检测请求。这种多进程架构确保单个摄像头的处理延迟不会影响其他通道，同时支持多检测器并行扩展。

硬件加速器选型策略

Frigate 支持丰富的硬件加速方案，从低功耗边缘设备到高性能服务器 GPU 均可适配：

Google Coral Edge TPU 是目前社区最推荐的方案。USB 版本兼容性最佳，Mini PCIe/M.2 版本适合紧凑部署。单块 Coral 可轻松处理多路 1080p 流的目标检测，推理延迟控制在 20ms 以内。配置示例：

detectors:
  coral:
    type: edgetpu
    device: usb  # 或 pci、pci:0 等多设备配置

Intel OpenVINO 适合已有 Intel 平台的用户，支持 CPU、集成 GPU 及 NPU（如 Core Ultra 系列）。建议将 NPU 用于目标检测，GPU 留给语义搜索等富媒体任务。

NVIDIA TensorRT 在 Jetson 设备和高性能 GPU 上表现优异，支持 CUDA Graphs 优化。需注意模型需预先转换为 TensorRT 格式（.trt），首次启动时会自动编译缓存。

其他方案 包括 Hailo-8（高吞吐量 M.2 模块）、AMD ROCm（开源 GPU 支持）、Rockchip NPU（国产芯片方案）等，覆盖从家用到工业级的全场景需求。

模型配置与多检测器扩展

Frigate 默认使用 MobileDet 模型（TensorFlow Lite 格式），在 Coral TPU 上提供速度与精度的平衡。对于追求更高精度的场景，可切换至 YOLOv9 或 YOLO-NAS：

model:
  model_type: yolo-generic
  width: 320
  height: 320
  path: /config/model_cache/yolov9-s-relu6-best_320_int8_edgetpu.tflite
  labelmap_path: /config/labels-coco17.txt

输入尺寸的选择是精度与性能的关键权衡。320×320 在大多数场景下已足够，且能显著降低计算开销；640×640 适合需要检测小目标的场景。

当单摄像头数量超过检测器处理能力时，可配置多个检测器并行工作：

detectors:
  coral1:
    type: edgetpu
    device: usb:0
  coral2:
    type: edgetpu
    device: usb:1

系统会自动将检测请求分发到各个检测器的共享队列中，实现负载均衡。

区域与遮罩：精准控制检测范围

Frigate 内置的遮罩与区域编辑器是减少误报的核心工具：

运动遮罩（Motion Mask） 用于排除树叶晃动、水面反光等持续运动区域，避免无效触发。

检测区域（Zone） 定义了实际关注的空间范围。只有在区域内发生的检测事件才会触发录制和告警。典型配置如 "仅监控门口区域，排除街道行人"。

对象过滤 允许按类别（person、vehicle、animal 等）和置信度阈值进行细粒度控制。建议为不同区域设置差异化的阈值策略 —— 例如门口区域对 "人" 的检测阈值可设为 0.7，而停车场对 "车" 的阈值可放宽至 0.5。

Docker 部署与性能调优

推荐通过 Docker Compose 部署，以下是一份生产环境配置模板：

services:
  frigate:
    image: ghcr.io/blakeblackshear/frigate:stable
    container_name: frigate
    privileged: true
    devices:
      - /dev/bus/usb:/dev/bus/usb  # Coral USB
      - /dev/dri:/dev/dri          # Intel GPU 加速
    volumes:
      - /path/to/config:/config
      - /path/to/storage:/media/frigate
      - type: tmpfs
        target: /tmp/cache
        tmpfs:
          size: 1000000000
    ports:
      - "5000:5000"
      - "8554:8554"  # RTSP 重流
      - "8555:8555/tcp"  # WebRTC
      - "8555:8555/udp"

存储优化：使用 tmpfs 挂载 /tmp/cache 可显著降低 SSD 写入磨损。视频录制建议采用事件保留策略（仅保存含检测对象的片段），相比 24/7 录制可节省 70% 以上存储空间。

网络配置：RTSP 重流功能可将单个摄像头流复用给多个客户端，减少摄像头负载。WebRTC 支持则提供了低于 500ms 的直播延迟，适合实时监控场景。

局限与权衡

尽管 Frigate 提供了强大的本地 AI 能力，仍需注意以下限制：

模型兼容性：不同硬件加速器支持的模型格式各异（TFLite、ONNX、HEF、RKNN 等），迁移部署时需重新转换模型。

硬件依赖：Coral TPU 等加速器虽性价比高，但供应链波动可能导致采购困难。建议评估 OpenVINO CPU 模式作为降级方案，尽管性能会有明显下降。

隐私边界：虽然推理完全本地进行，但视频流仍需经过网络传输。建议在摄像头端启用 RTSP over TLS，并在 Frigate 主机上配置防火墙规则限制访问。

总结

Frigate 通过 "运动检测 + AI 推理" 的两级架构，在边缘设备上实现了高效的视频内容分析。其多硬件支持、多检测器扩展、以及灵活的区域配置能力，使其成为从家庭到小型商业场景的理想选择。对于计划部署的用户，建议从 Coral Edge TPU + Docker Compose 的最小配置开始，逐步根据摄像头数量和业务需求扩展检测器与存储容量。

参考来源：

• Frigate 官方文档：https://docs.frigate.video/
• GitHub 仓库：https://github.com/blakeblackshear/frigate

ai-systems