在语音技术领域，大模型往往被视为性能的代名词。然而，对于特定垂直任务 —— 如汉语声调纠正 —— 小规模模型经过精心设计，同样能取得接近大模型的实用效果。本文基于一个 9M 参数的 Conformer+CTC 模型实践，探讨如何通过任务定义、数据增强和工程优化，在 300 小时数据上训练出可在浏览器端实时运行的声调纠正系统。
任务定义：从 ASR 到发音评估的范式转变
传统自动语音识别（ASR）的目标是将语音转换为最可能的文本，这本质上是一个 “纠错” 过程：模型会基于语义上下文自动修正发音错误。但对于语言学习者而言，这种纠错恰恰掩盖了需要改进的发音问题。
因此，声调纠正任务需要重新定义输出空间。与其输出汉字，不如将 “拼音 + 声调” 作为一级 token。例如，“zhong1”（阴平）和 “zhong4”（去声）被视作两个完全不同的 token。这样，当学习者发错声调时，模型会明确预测出错误的 token ID，而非 “猜测” 出正确的汉字。这种设计产生了 1254 个 token 的词汇表（含<unk>和<blank>），将发音评估从语义理解中解耦出来。
架构选择：Conformer 为何适合声调建模
声调纠正需要同时捕捉两种模式：
- 局部音素特征：区分如卷舌音 “zh” 与平舌音 “z” 的细微差异，这类特征在频谱图上呈现短时、高精度的模式，适合卷积神经网络（CNN）捕捉。
- 全局声调模式：汉语声调是相对的（同一个 “高” 调，成人和儿童的绝对音高不同）且受上下文影响（如变调规则）。这需要模型理解较长时序的依赖关系，正是 Transformer 自注意力机制的强项。
Conformer 架构巧妙地融合了二者：通过卷积模块捕获局部频谱特征，再通过自注意力模块建模全局时序关系。对于 9M 参数的小模型，这种混合设计在有限算力下提供了必要的建模能力。
损失函数：CTC 的 “不纠错” 特性
序列到序列（seq2seq）模型（如 Whisper）会进行 “智能化” 输出，不适用于需要严格对比的评估场景。连接时序分类（CTC）损失则采取了不同策略：它为音频的每一帧（约 40ms）输出一个概率分布，并引入特殊的<blank>（空白）token 来处理语音与文本的对齐问题。
例如，对于 “你好” 的发音，CTC 的原始输出可能是一系列重复的 token 和<blank>：
ni3 ni3 ni3 <blank> hao3 hao3 <blank>
通过合并重复 token 并移除<blank>，最终得到 “ni3 hao3”。这个过程强迫模型必须为每一帧音频分配一个具体的发音 token（或<blank>），从而忠实反映用户的真实发音，而非其意图。
数据策略：300 小时为何足够
实验使用了 AISHELL-1 和 Primewords 两个开源数据集，总计约 300 小时的普通话朗读语音。关键发现是：当模型从 75M 参数缩减至 9M 参数时，词元错误率（TER）仅从 4.83% 上升至 5.27%，声调准确率从 98.47% 微降至 98.29%。
这一微小性能损失强烈暗示：对于声调纠正这一特定任务，当前瓶颈在于数据质量和多样性，而非模型容量。 小模型在有限数据上更容易充分训练，避免了过参数化带来的过拟合风险。
数据增强采用了 SpecAugment，在时间和频率维度上进行随机掩码。这有效增加了数据的多样性，让小模型学会关注声调的核心频谱特征，而非无关的声学细节。
工程优化：从 37MB 到 11MB 的部署之路
INT8 量化
FP32 格式的 9M 参数模型体积约为 37MB。通过 INT8 量化（将权重和激活值从 32 位浮点数转换为 8 位整数），模型体积压缩至约 11MB，而 TER 仅增加了 0.0003，性能损失几乎可忽略。这对于 Web 端部署至关重要，11MB 的模型可以通过onnxruntime-web在用户浏览器中快速加载和推理。
置信度计算与静音处理
一个实践中遇到的棘手问题是前导静音。如果用户在说话前有停顿，静音帧会被强制对齐算法错误地分配给第一个音节（如 “wo3”）。当对这些帧计算平均概率时，极高的<blank>概率会将音节的置信度拉低至接近 0。
解决方案是解耦高亮显示的时间跨度与用于评分的帧。具体做法是过滤掉模型认为大概率是静音（即<blank>概率超过阈值，如 0.7）的帧，仅使用剩余的有效语音帧计算音节置信度。这一改动能将首音节置信度从 0.0 提升至 0.99，大幅提升了用户体验。
局限性与未来方向
当前模型主要存在三个局限：
- 领域偏移：训练数据主要为清晰朗读的语音，而日常对话语速更快、发音更含糊。有母语者反馈需要刻意放慢语速才能获得高分。
- 说话人偏差：儿童语音因基频较高，识别效果较差，因其在训练数据中代表性不足。
- 轻声处理：将轻声统一归为 “tone5” 可能过于简化，忽略了其在真实语境中丰富的音变规律。
可行的改进方向包括引入更口语化的数据集（如 Mozilla Common Voice）、在训练中增加说话人归一化（如音高标准化）、以及对轻声进行更细致的建模。
可落地参数清单
对于希望复现或构建类似边缘端语音评估模型的团队，以下是一份关键参数与决策点清单：
| 模块 | 推荐配置 / 参数 | 备注 |
|---|---|---|
| 任务定义 | Token：拼音 + 声调 (1-5) | 词汇表约 1254 个 token，实现发音与语义解耦 |
| 模型架构 | Conformer (小尺寸配置) | 例如：4 层，注意力头 4，模型维度 128，卷积核大小 31 |
| 损失函数 | CTC Loss | 需实现强制对齐（Viterbi 算法）进行细粒度评估 |
| 训练数据 | 300 + 小时，朗读语音为主 | AISHELL-1 + Primewords 是良好起点 |
| 数据增强 | SpecAugment | Time mask: 2 块，最大长度 100 帧；Freq mask: 2 块，最大长度 27 频带 |
| 量化部署 | INT8 动态量化 | 使用 ONNX Runtime，注意校准数据需有代表性 |
| 静音处理 | Blank 概率阈值过滤 (如 0.7) | 在计算音节置信度前，过滤高概率静音帧 |
| 评估指标 | TER (Token Error Rate), 声调准确率 | 监控易混淆音素对（如 zh/z, ch/c, sh/s）的错误率 |
结论
构建一个高效的边缘端语音评估模型，并非一味追求参数量的扩张，而是对任务本质的精准把握与工程细节的极致优化。通过将任务重新定义为发音 token 分类、选用 Conformer+CTC 架构、利用 300 小时数据配合 SpecAugment 进行充分训练，并实施 INT8 量化与帧级置信度过滤，一个 9M 参数的模型足以在浏览器中提供实时、准确的汉语声调反馈。这为在教育科技、辅助工具等场景下部署轻量级、低延迟的智能语音能力提供了可行的技术路径。
资料来源
- SimEdw. (2026, January 31). A 9M-parameter Mandarin pronunciation tutor. SimEdw's Blog. https://simedw.com/2026/01/31/ear-pronunication-via-ctc/