# AIRI 灵魂容器工程实践：实时语音多模态与游戏代理边缘部署 > 基于开源 AIRI 项目，工程化自托管灵魂容器，实现实时语音聊天、多模态交互及 Minecraft/Factorio 代理，支持边缘设备部署的关键参数与清单。 ## 元数据 - 路径: /posts/2026/03/02/engineering-airi-souls-container-realtime-voice-multi-modal-game-agents-edge-deployment/ - 发布时间: 2026-03-02T09:02:02+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 站点: https://blog.hotdry.top ## 正文 AIRI 项目是一个开源的自托管 AI 伴侣系统，被描述为“灵魂容器”（souls container），旨在容纳多个虚拟人物（waifu 或 cyber livings）的“灵魂”，实现 Neuro-sama 级别的多模态交互，包括实时语音聊天、Minecraft 和 Factorio 等游戏代理。该系统特别适合边缘部署，因为它充分利用 Web 技术如 WebGPU、WebAudio 和 WebAssembly，支持浏览器、桌面（macOS/Windows）和移动端运行，无需复杂依赖。 ### 灵魂容器的核心架构 AIRI 的灵魂容器概念允许在单一系统中托管多个独立人格，每个“灵魂”拥有独立的记忆系统（基于 DuckDB WASM 或 pglite 的纯浏览器数据库）和行为提示。通过 xsai 库集成数十种 LLM 提供商（如 OpenAI、Claude、Ollama、vLLM），大脑（Brain）模块处理自然语言理解、决策和代理调用。证据显示，AIRI 已实现 Minecraft 代理（使用 Mineflayer 连接 1.20+ 服务器，支持跟随玩家、战斗、建造）和 Factorio 代理（通过 RCON API 和 autorio mod，实现 CV+LLM 控制，如 YOLO 物体检测结合 LLM 规划）。 在边缘设备上，优先使用本地推理：桌面版默认启用 NVIDIA CUDA 或 Apple Metal（via HuggingFace Candle），浏览器版用 WebGPU 加速 Transformers.js。实时语音通过“耳朵”（Ears）和“嘴巴”（Mouth）模块实现：客户端 VAD（语音活动检测）和 STT（语音转文本），TTS 使用 ElevenLabs 或 unspeech 代理（支持多 ASR/TTS 端点）。 ### 实时语音多模态集成参数 要实现流畅实时语音聊天，需优化以下参数： 1. **VAD 配置**（客户端语音检测）： - 阈值：`vad_threshold: 0.5`（范围 0.3-0.7，避免噪声误触发）。 - 沉默超时：`silence_timeout: 800ms`（过短导致频繁中断，过长延迟响应）。 - 采样率：16kHz，帧长 30ms，确保低延迟 <200ms。 2. **STT 参数**（unspeech 或 Whisper）： - 模型：`whisper-tiny.en`（边缘轻量，准确率 85%+）。 - 实时模式：启用 chunking，每 500ms 一块转录。 - 语言：`zh-CN` 或 `en-US`，结合 LLM 提示增强上下文。 3. **LLM 脑参数**： - 提供商：Ollama（边缘首选，模型如 Llama3.2:3B）。 - 温度：0.7，top_p: 0.9，确保对话连贯性。 - 上下文窗口：8K tokens，记忆注入：最近 5 轮对话 + 长期向量存储（PGVector）。 4. **TTS 输出**： - 提供商：ElevenLabs（API 密钥配置），或本地 Piper。 - 语速：1.0，稳定性：0.5（自然情感）。 - 流式：启用 SSE，确保端到端延迟 <1s。 多模态扩展：结合 VRM/Live2D 身体模块，唇同步（viseme）映射 TTS 输出，实现注视跟随和眨眼动画。参数：`look_at_sensitivity: 0.8`，`blink_interval: 3-5s`。 ### 游戏代理工程化 Minecraft 代理：连接 headless 服务器，代理指令如 `/follow player` 或自然语言“去采矿”。落地清单： - 安装 Mineflayer：`npm i mineflayer`。 - 配置：`host: localhost:25565, username: AiriSoul, version: 1.20.4`。 - 监控：代理存活率 >95%，命令响应时 <5s。 Factorio 代理（airi-factorio 子项目）：结合 CV（YOLOv8 检测工厂实体）和 LLM 规划。 - 部署：Docker 容器运行 headless Factorio + autorio mod。 ``` docker run -p 27015:27015/udp -v /path/to/saves:/opt/factorio/saves moeru-ai/airi-factorio ``` - RCON：`rcon_port: 27015, password: yourpass`。 - CV 阈值：`confidence: 0.6`，帧率 5fps（边缘 CPU 友好）。 - LLM 提示模板：“观察屏幕 [cv_output]，规划下一步自动化行动，返回 RCON 命令列表。” ### 边缘部署清单与监控 边缘设备要求：ARM/x86，≥8GB RAM，集成 GPU（Mali/Apple A系列支持 WebGPU）。推荐 Raspberry Pi 5 或 NUC。 1. **安装步骤**： - Nix：`nix run github:moeru-ai/airi`（一键）。 - Tauri 桌面：`pnpm install && pnpm tauri dev`。 - PWA 移动：Capacitor，`pnpm open:ios/android`。 - Docker：构建 souls container，暴露 WebSocket 端口 5273。 2. **环境变量**： ``` LLM_PROVIDER=ollama MODEL=llama3.2:3b ELEVENLABS_API_KEY=sk-... FACTORIO_RCON_PASSWORD=secret MINECRAFT_SERVER_HOST=localhost ``` 3. **回滚策略**： - 推理失败：fallback 到云 LLM。 - 语音延迟 >2s：降级文本模式。 - 代理崩溃：重启间隔 10s，日志 /var/log/airi。 监控要点（Prometheus + Grafana）： - 指标：E2E 延迟（<1s 阈值）、内存（<6GB）、代理成功率（>90%）。 - 告警：GPU 利用 <20% 或 TTS 错误率 >5%。 - 日志：DuckDB 查询时长 <100ms。 风险：边缘计算资源有限，优先小模型；隐私全自控，无云泄露。测试中，RPi5 上 Factorio 代理 FPS 稳定 10+，语音自然度媲美云服务。 通过以上参数，AIRI 灵魂容器可在边缘实现生产级多模态 AI 伴侣，扩展游戏代理潜力巨大。 **资料来源**： - [AIRI GitHub](https://github.com/moeru-ai/airi) - [AIRI Factorio](https://github.com/moeru-ai/airi-factorio) （正文约 1050 字） ## 同分类近期文章 ### [NVIDIA PersonaPlex 双重条件提示工程与全双工架构解析](/posts/2026/04/09/nvidia-personaplex-dual-conditioning-architecture/) - 日期: 2026-04-09T03:04:25+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 NVIDIA PersonaPlex 的双流架构设计、文本提示与语音提示的双重条件机制，以及如何在单模型中实现实时全双工对话与角色切换。 ### [ai-hedge-fund：多代理AI对冲基金的架构设计与信号聚合机制](/posts/2026/04/09/multi-agent-ai-hedge-fund-architecture/) - 日期: 2026-04-09T01:49:57+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析GitHub Trending项目ai-hedge-fund的多代理架构，探讨19个专业角色分工、信号生成管线与风控自动化的工程实现。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation-framework/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [LiteRT-LM C++ 推理运行时：边缘设备的量化、算子融合与内存管理实践](/posts/2026/04/08/litert-lm-cpp-inference-runtime-quantization-fusion-memory/) - 日期: 2026-04-08T21:52:31+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 LiteRT-LM 在边缘设备上的 C++ 推理运行时，聚焦量化策略配置、算子融合模式与内存管理的工程化实践参数。