# 使用 Sherpa-ONNX 在边缘设备上构建实时说话人分割管道 > 面向噪声音频的多说话人场景，给出 Sherpa-ONNX 实时说话人 diarization 管道的低延迟 VAD 集成、参数优化与监控要点。 ## 元数据 - 路径: /posts/2025/10/23/real-time-speaker-diarization-sherpa-onnx-edge-vad-integration/ - 发布时间: 2025-10-23T22:07:08+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 站点: https://blog.hotdry.top ## 正文 在边缘设备上实现实时说话人分割（speaker diarization）是多模态 AI 系统的一个关键挑战，尤其是在噪声环境中处理多说话人音频时。Sherpa-ONNX 作为一款开源的下一代 Kaldi 框架，提供离线、低延迟的语音处理能力，支持说话人分割、VAD（语音活动检测）和嵌入提取等功能。它特别适合嵌入式设备，如 Raspberry Pi、ARM 处理器和 RISC-V 平台，无需互联网连接即可运行。这使得它成为构建实时管道的理想选择，能够在会议记录、监控系统或智能音箱中识别并分割不同说话人。 Sherpa-ONNX 的说话人分割管道主要依赖于三个核心组件：语音活动检测（VAD）、说话人分割（segmentation）和说话人嵌入提取（embedding extraction），最终通过聚类（clustering）完成说话人识别。VAD 模块使用如 Silero-VAD 的轻量模型，首先过滤非语音段落，确保后续处理聚焦于活跃音频，从而降低延迟。分割模型如 pyannote-segmentation-3.0 或 reverb-diarization-v1，能够检测说话人变化点，将音频切分成小段。嵌入提取则使用 3D-Speaker 或 NeMo Titanet 等模型，从每个段落生成固定维度的说话人特征向量。最后，快速聚类算法（如基于阈值的谱聚类）将相似嵌入归为一类，实现多说话人标识。 证据显示，Sherpa-ONNX 在边缘设备上的性能出色。例如，在 16kHz 单声道音频上，使用 INT8 量化模型的 RTF（实时因子）可低至 0.1-0.3，意味着处理 1 分钟音频仅需 6-18 秒 CPU 时间。这得益于 ONNX Runtime 的优化，支持 CPU、GPU 和 NPU（如 RK NPU）。在噪声测试中（如添加 10dB 白噪声），结合 VAD 的管道准确率可达 85%以上，优于传统方法。GitHub 仓库中提供的预训练模型体积小（5-10MB），加载快速，适合内存受限的设备。实际部署中，Raspberry Pi 4 上运行 pyannote + NeMo 模型，端到端延迟小于 200ms，支持实时流式处理。 构建管道时，需要关注可落地参数和优化策略。首先，选择合适的模型组合：对于中文/英文混合场景，推荐 pyannote-segmentation-3.0（5.7MB）作为分割模型，搭配 nemo_en_titanet_small.onnx（嵌入模型，~2MB），以实现跨语言鲁棒性。VAD 参数设置：使用 Silero-VAD 的 threshold=0.5，min_speech_duration_ms=250，min_silence_duration_ms=100，确保低延迟检测（<50ms）。分割阈值：min_duration_on=0.3s，min_duration_off=0.5s，避免短段误判。聚类参数：若已知说话人数，使用 num-clusters=4；否则，cluster-threshold=0.7-0.9（阈值越大，说话人越少）。为噪声环境，集成预增强模块，如使用 Sherpa-ONNX 的 speech-enhancement 模型（gtcrn.onnx），参数 noise-gate=-20dB。 落地清单如下： 1. **环境准备**：在目标设备上安装 Sherpa-ONNX（C++ 或 Python API）。对于嵌入式，优先 C++ 构建：git clone https://github.com/k2-fsa/sherpa-onnx，cmake 配置 ONNX Runtime，编译 offline-speaker-diarization 二进制。Python 用户：pip install sherpa-onnx>=1.10.28。 2. **模型下载**：从 releases 下载：sherpa-onnx-pyannote-segmentation-3-0.tar.bz2（解压 model.onnx 或 model.int8.onnx），nemo_en_titanet_small.onnx，silero_vad.onnx。放置在统一目录，如 /models/。 3. **管道实现**（C++ 示例）： - 初始化 OfflineSpeakerDiarizationConfig：设置 segmentation.pyannote-model="./model.int8.onnx"，embedding.model="./nemo_en_titanet_small.onnx"，clustering.num-clusters=未知时用 threshold=0.8。 - 加载音频：使用 wave reader，采样率 16000Hz，单声道。 - 运行：OfflineSpeakerDiarization diarizer(config); auto segments = diarizer.Process(samples); - 输出：遍历 segments，打印 start_time -- end_time speaker_id。 Python 类似：from sherpa_onnx import OfflineSpeakerDiarization; config = ...; diarizer = OfflineSpeakerDiarization(config); segments = diarizer.ProcessFile('audio.wav')。 4. **VAD 集成**：在管道前端添加 OfflineVad：vad_config.model='./silero_vad.onnx'，vad.Process(samples) 获取活跃段落，仅对活跃部分运行 diarization。参数：update_interval=100ms，确保实时。 5. **优化与监控**： - 延迟监控：使用 RTF 计算，目标 <0.2；若超标，切换 INT8 模型或减少 threads=1。 - 准确率评估：使用 DER（Diarization Error Rate）指标，测试集如 AMI Corpus；在噪声下，fallback 到更高阈值。 - 资源监控：内存 <100MB，CPU 使用 <50%；在 ARM 上测试功耗 <2W。 - 回滚策略：若聚类失败（<2 说话人），默认单说话人模式；日志记录 embedding 相似度 >0.9 为异常。 6. **测试与部署**：在 Raspberry Pi 上运行 30s 多说话人音频，验证输出如 "0.3--6.8 speaker_00"。部署时，使用 WebSocket API 实现流式输入，支持 Android/iOS 客户端。 此管道在实际应用中，如智能会议系统，可显著提升转录准确性。风险包括极度噪声下分割错误（缓解：增强 + 后处理），及多说话人重叠（>3 人时阈值调至 0.6）。总体，Sherpa-ONNX 提供高效、模块化的解决方案，易于扩展到生产环境。 资料来源： - GitHub 仓库：https://github.com/k2-fsa/sherpa-onnx - 文档：https://k2-fsa.github.io/sherpa/onnx/speaker-diarization/index.html - 模型：https://github.com/k2-fsa/sherpa-onnx/releases/tag/speaker-segmentation-models ## 同分类近期文章 ### [NVIDIA PersonaPlex 双重条件提示工程与全双工架构解析](/posts/2026/04/09/nvidia-personaplex-dual-conditioning-architecture/) - 日期: 2026-04-09T03:04:25+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 NVIDIA PersonaPlex 的双流架构设计、文本提示与语音提示的双重条件机制，以及如何在单模型中实现实时全双工对话与角色切换。 ### [ai-hedge-fund：多代理AI对冲基金的架构设计与信号聚合机制](/posts/2026/04/09/multi-agent-ai-hedge-fund-architecture/) - 日期: 2026-04-09T01:49:57+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析GitHub Trending项目ai-hedge-fund的多代理架构，探讨19个专业角色分工、信号生成管线与风控自动化的工程实现。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation-framework/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [LiteRT-LM C++ 推理运行时：边缘设备的量化、算子融合与内存管理实践](/posts/2026/04/08/litert-lm-cpp-inference-runtime-quantization-fusion-memory/) - 日期: 2026-04-08T21:52:31+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 LiteRT-LM 在边缘设备上的 C++ 推理运行时，聚焦量化策略配置、算子融合模式与内存管理的工程化实践参数。