# AI 代理 API 驱动外呼电话：电话后端与 STT/LLM/TTS 实时集成 > 通过 API 发起 AI 代理外呼，实现电话后端与 STT/LLM/TTS 的实时自然对话与呼叫控制，提供工程参数与监控要点。 ## 元数据 - 路径: /posts/2025/12/05/api-driven-outbound-ai-phone-calls-telephony-stt-llm-tts-integration/ - 发布时间: 2025-12-05T00:01:15+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 站点: https://blog.hotdry.top ## 正文 在呼叫中心场景中，AI 代理通过 API 驱动的外呼电话已成为高效自动化客服的关键技术路径。这种方法允许开发者以单一 HTTP POST 请求发起完整对话流程，避免传统 IVR 的刚性菜单，转而实现自然语言交互。核心在于将电话后端（如 Azure Communication Services）与 STT（语音转文本）、LLM（大语言模型）和 TTS（文本转语音）无缝集成，形成闭环实时对话系统。该方案特别适用于保险理赔、IT 支持等中等复杂度任务，能在几小时内定制上线。 ### 核心架构与集成流程 架构以容器化应用为中心，部署于 Azure Container Apps 的 serverless 模式，确保弹性扩展。电话网关（ACS）负责 inbound/outbound 呼叫管理，应用层处理流式音频管道： 1. **API 触发外呼**：使用 curl 或 SDK 发送 POST /call 请求，携带 JSON payload，包括 bot_company、bot_name、phone_number（目标号码）、task（对话目标，如“帮助客户填写 IT 支持工单”）、agent_phone_number（代理号码）和 claim（数据 schema，如 [{"name": "hardware_info", "type": "text"}]）。系统自动拨打目标号码，建立 WebRTC 连接。 2. **实时音频流处理**： - **STT 阶段**：用户语音通过 ACS 流入应用，Azure Cognitive Services Speech 实时转录。关键参数包括 recognition_retry_max=3（重试上限，避免转录失败）、recognition_stt_complete_timeout_ms=100（完成超时，单位 ms）。 - **LLM 推理**：转录文本注入 LLM（如 gpt-4o-mini 快模型或 gpt-4o 洞察模型），结合 RAG（AI Search 检索内部文档）、历史对话（Cosmos DB）和自定义提示生成流式响应。LLM 支持工具调用更新 claim、生成提醒列表，并检测 jailbreak。 - **TTS 合成**：LLM 输出转为 Azure Speech TTS 语音，支持多语言（如 fr-FR-DeniseNeural）和自定义神经语音。音频流回传 ACS，实现低延迟播放。 3. **呼叫控制与容错**：支持人类代理转接、断线续传（Redis 缓存状态）、通话录音（feature flag: recording_enabled=true）。VAD（语音活动检测）参数优化交互：vad_threshold=0.5（灵敏度 0.1-1）、vad_silence_timeout_ms=500（静音阈值）、vad_cutoff_timeout_ms=250（截止超时），防止误触发。 例如，repo 中演示的 curl 调用只需一行，即可启动 IT 支持外呼：“task”: “Help the customer with their digital workplace...”，系统据此填充 claim 并生成 to-do 列表。 ### 可落地工程参数与清单 为确保生产级稳定性，以下是关键配置清单（基于 config.yaml 和 App Configuration feature flags）： #### 超时与延迟控制 - **LLM 响应**：answer_soft_timeout_sec=4（软超时，发送等待提示）；answer_hard_timeout_sec=15（硬超时，报错中断）。 - **用户静音**：phone_silence_timeout_sec=20（超过发出警告，避免挂断）。 - **回调超时**：callback_timeout_hour=3（自动回呼，设 0 禁用）。 #### 模型与成本优化 - **快模型**：gpt-4o-mini（输入 $0.15/1M tokens，输出 $0.60/1M），适合实时聊天；切换 slow_llm_for_chat=true 使用 gpt-4o 提升准确性。 - **嵌入**：text-embedding-3-large 用于 RAG，1536 维向量搜索内部知识库。 - **成本估算**（1000 通话×10min/月）：ACS $40、Speech $152、OpenAI $59、总 ~$720，建议 PTU（Provisioned Throughput Units）减半 LLM 延迟。 #### 部署清单（Azure 优先） 1. 创建资源组、ACS 资源、购买号码（支持 voice/SMS）。 2. 配置 config.yaml：指定 endpoints、API keys、语言（default_short_code: fr-FR）。 3. make deploy name=my-rg（Bicep IaC 部署）。 4. 本地开发：make tunnel + uvicorn app:api_app，访问 localhost:8080。 5. 监控：集成 Application Insights，追踪 call.answer.latency、aec.dropped（回声消除失败）。 #### 安全与合规 - 内容过滤：OpenAI Content Safety，moderation levels 0-7。 - 数据：PII 匿名化，claim 验证（email/phone/datetime/text）。 - 回滚：feature flags 热更新，60s 生效。 ### 监控与优化要点 部署后，通过 App Insights 仪表盘监控： - **自定义指标**：call.answer.latency（用户结束语至 bot 响应时延，目标 <2s）；aec.missed（回声残留）。 - **LLM 遥测**：OpenLLMetry 记录提示/响应/token 用量，采样日志减成本。 - **优化策略**： - 延迟瓶颈：优先 PTU 或 nano 模型；STT/TTS 流式已优化。 - 质量提升：fine-tune LLM 于历史通话数据（脱敏后），A/B 测试 prompts。 - 规模：多区域 Cosmos DB，vNET 私有端点。 风险包括 LLM 幻觉（用 RAG/insights 缓解）和峰值成本（弹性缩放）。实际 demo 显示，代理能处理犹豫语音、提取事故细节，并设置跟进提醒，satisfaction 高。 此方案虽为 POC，但提供完整蓝图，可快速扩展为生产系统。通过精确参数调优，实现 <1s 端到端延迟，自然对话体验。 **资料来源**：Microsoft call-center-ai GitHub 仓库（https://github.com/microsoft/call-center-ai），包含架构图、demo 视频与 config 示例。“Send a phone call from AI agent, in an API call.” ## 同分类近期文章 ### [NVIDIA PersonaPlex 双重条件提示工程与全双工架构解析](/posts/2026/04/09/nvidia-personaplex-dual-conditioning-architecture/) - 日期: 2026-04-09T03:04:25+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 NVIDIA PersonaPlex 的双流架构设计、文本提示与语音提示的双重条件机制，以及如何在单模型中实现实时全双工对话与角色切换。 ### [ai-hedge-fund：多代理AI对冲基金的架构设计与信号聚合机制](/posts/2026/04/09/multi-agent-ai-hedge-fund-architecture/) - 日期: 2026-04-09T01:49:57+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析GitHub Trending项目ai-hedge-fund的多代理架构，探讨19个专业角色分工、信号生成管线与风控自动化的工程实现。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation-framework/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [LiteRT-LM C++ 推理运行时：边缘设备的量化、算子融合与内存管理实践](/posts/2026/04/08/litert-lm-cpp-inference-runtime-quantization-fusion-memory/) - 日期: 2026-04-08T21:52:31+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 LiteRT-LM 在边缘设备上的 C++ 推理运行时，聚焦量化策略配置、算子融合模式与内存管理的工程化实践参数。