Hotdry.
归档
ai-systems

parakeet.cpp：Metal GPU 加速的 Parakeet ASR 推理引擎

纯 C++ Parakeet ASR 推理引擎，利用 Metal GPU 在 Apple Silicon 上实现超快推理。提供部署参数、优化清单与性能监控要点。

在 Apple Silicon 设备上部署高效的语音识别（ASR）系统时，parakeet.cpp 提供了一个纯 C++ 实现的 Parakeet 模型推理引擎，利用 Metal GPU 着色器实现快速编码器前向传播和解码。该引擎基于 axiom 张量库，避免了 Python 或 ONNX Runtime 等沉重依赖，特别适合 on-device 实时转录场景。其核心优势在于将整个 FastConformer 编码器融合为优化的 MPSGraph 操作，实现 96x CPU 加速。

Metal GPU 加速机制

parakeet.cpp 的 GPU 加速依赖 axiom 库的 Metal 后端，该库自动将模型操作编译为 Metal Performance Shaders (MPS) 图。编码器采用 FastConformer 架构：Conv2d 8x 下采样后接多层 Conformer 块，使用相对位置注意力。对于 110M 参数的 tdt-ctc-110m 模型，10 秒音频（约 160k 帧）的编码器推理时间仅为 27ms（M3 16GB），RTF（Real-Time Factor）低至 0.003，远超 CPU 的 2.5 秒。据基准测试，在 Apple Silicon GPU 上，该模型对 60 秒音频的处理仅需 72ms，吞吐量达 833x [1]。

解码支持贪婪 CTC/TDT 解码（greedy decode），虽非完整 beam search，但通过高效的 token-duration 预测（TDT）实现高精度转录。流式模型如 eou-120m 支持端到端语句检测（EOU，类似 VAD），nemotron-600m 可配置延迟帧数（latency_frames=0 为 80ms 右上下文）。说话人分割（Sortformer 117M）提供每帧活动概率，支持最多 4 说话人。

性能证据与比较

基准数据显示，GPU 加速显著优于 CPU：

  • 110M 模型：CPU 2581ms → GPU 27ms (96x)。
  • 600M TDT：CPU 10779ms → GPU 520ms (21x)。
  • Sortformer：CPU 3195ms → GPU 479ms (7x)。

与 PyTorch MPS 相比，axiom 的自定义融合内核更高效，避免了图捕获开销。对于长音频，GPU 缩放线性：1s→24ms, 30s→32ms。离线模型限 4-5 分钟音频，超长需拆分或用流式。

可落地部署参数

1. 环境准备

  • 硬件：Apple Silicon (M1+)，Metal 支持。
  • 软件：Xcode/Clang (C++20)，macOS 13+。
  • 依赖：仅 axiom 子模块，无外部库。

2. 构建与安装

git clone --recursive https://github.com/frikallo/parakeet.cpp
cd parakeet.cpp
make build

测试：make test。

3. 模型获取与转换

下载 NVIDIA Parakeet .nemo 文件（如 nvidia/parakeet-tdt-ctc-110m）：

huggingface-cli download nvidia/parakeet-tdt-ctc-110m --include "*.nemo" --local-dir .
pip install safetensors torch
python scripts/convert_nemo.py parakeet-tdt-ctc-110m.nemo -o model.safetensors --model 110m-tdt-ctc

提取 vocab：tar xf *.nemo tokenizer.model 或下载 vocab.txt。支持模型：tdt-ctc-110m (英文离线)、tdt-600m (多语离线)、eou-120m (英文流式)、nemotron-600m (多语流式)、sortformer (说话人分割)。

4. CLI 运行参数

基础转录：

./build/parakeet model.safetensors audio.wav --vocab vocab.txt --gpu

优化参数：

  • --ctc / --tdt：解码器选择（TDT 默认，更准）。
  • --timestamps：词级时间戳（帧 * 0.08s 转换）。
  • --model <type>：指定模型如 eou-120m、nemotron-600m。
  • --latency <N>：Nemotron 延迟，推荐 1 (160ms) 平衡精度 / 延迟。
  • --streaming：流式模式（麦克风 chunk）。 音频要求：16kHz 单声道 WAV，16/32-bit PCM/float。

API 示例（高阶）：

#include <parakeet/parakeet.hpp>
parakeet::Transcriber t("model.safetensors", "vocab.txt");
t.to_gpu();
auto result = t.transcribe("audio.wav", parakeet::Decoder::TDT, true);  // timestamps

流式：

parakeet::StreamingTranscriber t("model.safetensors", "vocab.txt", parakeet::make_eou_120m_config());
while (chunk = get_audio_chunk()) {
    auto text = t.transcribe_chunk(chunk);
    if (!text.empty()) std::cout << text;
}

5. 性能优化与阈值

  • GPU 独占：export MPS_START_TASK_ID=0 避免共享。
  • 批处理：多文件并行，监控 axiom::Device::GPU 利用率 (>90%)。
  • RTF 阈值：目标 <0.01；若>0.05，回滚 CPU 或拆分音频。
  • 内存：110M ~1GB VRAM；600M ~6GB，M3 Max 推荐。
  • 监控点：
    指标 阈值 异常处理
    Encoder ms (10s) <30ms 检查 Metal 驱动，降级 CPU
    RTF <0.01 拆分 >30s 音频
    VRAM 使用 <80% 减小 batch 或用小模型
    精度 (WER) <5% LibriSpeech 切换 TDT decoder

6. 风险与回滚

  • 局限：无 beam search（greedy 近似），EOU VAD 非工业级；长音频限。
  • 回滚：CPU 模式 --no-gpu；备选 whisper.cpp。
  • 生产化：集成 gRPC 服务器，chunk 大小 160ms (2560 样本)，VAD 前置 WebRTC。

通过以上参数，在 Apple 设备上快速部署 Parakeet ASR，实现低延迟转录。未来若集成 beam search，将进一步提升精度。

资料来源： [1] https://github.com/frikallo/parakeet.cpp (基准与文档)。 NVIDIA Parakeet HF 仓库 (模型下载)。

查看归档