传统 TTS 系统依赖离散 Tokenizer 将音频压缩为语义或声学 token，这一过程 inevitably 损失细微的韵律与音色信息。VoxCPM2 采用无 Tokenizer 的扩散自回归架构，直接在连续潜空间中建模语音，实现 48kHz 高保真输出与细粒度的风格控制。本文从架构原理、工程实现到部署参数，梳理这一技术路线的关键决策点。
无 Tokenizer 架构的核心优势
主流 TTS 方案（如基于 VAE 或 VQ-VAE 的模型）将音频编码为离散 token 序列，语言模型在此基础上预测下一个 token。这种范式的问题在于：token 化过程会丢失连续声学空间中的细微变化，导致合成语音在韵律自然度和音色保真度上存在天花板。
VoxCPM2 摒弃了离散 token 中间表示，采用连续潜空间扩散建模。其技术报告指出，该方法通过 FSQ（Finite Scalar Quantization）约束的连续 latent，将高层语义规划与低层声学渲染分离，既保留了细粒度的声学细节，又维持了序列建模的效率。这种设计使得模型能够捕捉传统 token 化方法难以表达的微妙语调变化与情感色彩。
四阶段流水线：从文本到波形
VoxCPM2 的生成路径遵循文本 → 四阶段流水线 → AudioVAE 解码 → 波形的端到端流程：
LocEnc（局部编码器）：将输入音频帧分组为 patch，编码为紧凑的局部表示，有效降低语言模型侧的有效序列长度。这是处理长音频合成时的关键优化。
TSLM（文本 - 语义语言模型）：基于 MiniCPM-4 骨干的因果语言模型，联合处理文本 token 与音频嵌入，负责 "说什么" 的语义规划 —— 包括韵律、节奏与重音的初步决策。
RALM（残差声学语言模型）：VoxCPM2 在此阶段引入拼接 + 投影融合替代 VoxCPM1.x 的加法融合，为语义意图与声学证据的交互提供更大自由度，支持更丰富的声学细节表达。
LocDiT（局部扩散 Transformer）：采用条件流匹配（CFM）的扩散 Transformer，在每个音频 patch 内生成连续潜表示。VoxCPM2 使用多 token 条件前缀替代单 token 融合，减少信息坍缩，提升生成阶段的表达力与可控性。
最终，AudioVAE V2 将生成的潜表示解码为波形。其非对称编解码设计（16kHz 编码 → 48kHz 解码）是架构亮点：输入侧保持高效序列长度，输出侧直接生成 48kHz studio 级音频，无需外部上采样模块。
Voice Design 与可控克隆的工程实现
VoxCPM2 提供三种语音生成模式，覆盖从创意合成到精确克隆的全场景需求：
Voice Design（语音设计）：无需任何参考音频，仅通过自然语言描述（如 "年轻女性，温柔甜美，略带微笑"）即可创造全新音色。工程实现上，描述文本置于括号内置于输入文本前：(A young woman, gentle and sweet voice)Hello, welcome to VoxCPM2!。建议在 cfg_value=2.0、inference_timesteps=10 参数下运行，平衡生成质量与推理速度。
可控语音克隆：上传参考音频后，模型提取音色特征，同时允许通过风格指令调整语速、情感与表达方式。这依赖 VoxCPM2 新增的结构隔离参考音频通道，将音色参考与续写上下文分离，实现更强的参考 - only 克隆行为。
终极克隆（Ultimate Cloning）：同时提供参考音频及其精确转录，模型基于音频续写范式复现原声的每一个细节 —— 音色、节奏、情感与风格。这是目前零样本克隆中保真度最高的模式，适用于高要求的配音与个性化助手场景。
生产部署参数与性能基准
VoxCPM2（2B 参数）在 NVIDIA RTX 4090 上的实时因子（RTF）约为 0.3，意味着生成 1 秒音频需 0.3 秒计算时间。通过 Nano-vLLM 加速可降至 0.13，支持并发请求与异步 API，适合高吞吐场景。
对于生产部署，vLLM-Omni 提供官方多模态服务支持，内置 PagedAttention KV 缓存、连续批处理与 OpenAI 兼容的 /v1/audio/speech 端点。启动命令示例：
vllm serve openbmb/VoxCPM2 --omni --port 8000
VRAM 占用约 8GB（2B 模型），在资源受限场景可考虑 VoxCPM1.5（0.8B，~6GB VRAM）或社区 GGML/GGUF 实现（VoxCPM.cpp）以支持 CPU 与 Vulkan 推理。
多语言支持方面，VoxCPM2 覆盖 30 种语言（含中文方言如粤语、四川话、吴语等），在 Seed-TTS-eval 基准上英文 WER 1.84%、中文 CER 0.97%，在多语言 SIM（说话人相似度）指标上普遍优于 Fish Audio S2 等开源方案。
局限与工程建议
可控生成存在运行间波动，Voice Design 与可控克隆的结果可能在多次生成间存在差异，建议对关键场景生成 2-3 次选取最优结果。此外，语音克隆技术的滥用风险需通过内容水印与用户知情同意机制管控。
在微调层面，VoxCPM2 支持 SFT 与 LoRA，仅需 5-10 分钟目标说话人音频即可适配特定音色或领域。微调配置通过 YAML 文件管理，WebUI 提供可视化训练与推理界面。
无 Tokenizer 架构代表了 TTS 技术向连续建模回归的趋势，VoxCPM2 通过扩散自回归与分层潜空间设计，在音质、可控性与多语言能力之间取得了工程可落地的平衡。
参考资料
- VoxCPM GitHub: https://github.com/OpenBMB/VoxCPM
- 架构文档: https://voxcpm.readthedocs.io/en/latest/models/architecture.html
- 技术报告: arXiv:2509.24650
内容声明：本文无广告投放、无付费植入。
如有事实性问题，欢迎发送勘误至 i@hotdrydog.com。