日语中的多音字（同形异音异义词）一直是自然语言处理的经典难题。同一个汉字 "生" 在不同语境下可读作「せい」「しょう」「き」「なま」「む」等十余种发音，传统基于词典的匹配方法难以准确消歧。EZFurigana 项目展示了如何通过 Sudachi 现代日语形态分析器与 ModernBERT 预训练模型的协同，构建上下文感知的振假名标注系统。
多音字消歧的核心挑战
日语汉字的音读与训读体系复杂，且存在大量惯用读法。以 "方" 字为例，在 "方法" 中读「ほうほう」，在 "方々" 中读「かたがた "，在" 四方 " 中读「ほう」。传统规则引擎需要维护庞大的例外词典，且对新词、复合词的扩展性有限。统计机器学习方法虽能缓解此问题，但对长距离依赖和罕见用法的处理能力仍然受限。
上下文感知的关键在于：模型需要同时理解局部语法结构和全局语义信息。短窗口的 n-gram 模型难以捕捉 "今日は晴天なり" 这类古典表达中 "今日" 读作「きょう」而非「こんにち」的细微差别。
Sudachi 分词器的技术优势
Sudachi 作为 MeCab 的继任者，在形态分析层面提供了更精细的控制能力。其多粒度分词特性允许系统同时获取短单位（SUW）和长单位（LUW）两种分词结果，这对振假名标注至关重要。
分词粒度配置参数：
- 模式 A（最短分词）：适用于技术文档，减少复合词误分割
- 模式 B（平衡模式）：通用场景，兼顾准确率与召回率
- 模式 C（最长分词）：文学作品优先，保留完整语义单元
Sudachi 的词典结构支持自定义词汇追加，开发者可通过system.dic和user.dic分层管理专业术语。对于振假名场景，建议在用户词典中预置常见多音字组合的优先读音，如将 "一人" 标注为「ひとり」而非「いちにん」的默认倾向。
ModernBERT 的上下文建模
ModernBERT（2024 年底发布）相比原始 BERT 在日语处理上有显著改进。其 8,192 token 的上下文窗口是原版 512 的 16 倍，这对日语尤为重要 —— 日语信息密度高，长距离依赖频繁。在振假名标注任务中，模型需要观察整句甚至段落级别的语境才能做出准确判断。
关键架构改进：
- 采用 RoPE（旋转位置编码）替代绝对位置编码，支持外推至更长序列
- 去除 token type embeddings 和 pooler 层，减少参数量 overhead
- 使用 BPE-dropout 和 SentencePiece Unigram 的混合分词策略，对日语汉字 - 假名混合文本更友好
Fine-tuning 阶段建议采用动态掩码策略，专门针对多音字位置进行采样。数据构建时，可将 Sudachi 分词结果作为辅助特征输入，形成 "分词边界 + 字符级表示" 的双流结构。
系统架构与推理优化
生产环境的部署需要考虑延迟与准确率的平衡。推荐采用级联架构：
第一层（规则缓存）：维护高频词 - 读音映射表，命中时直接返回，延迟 < 1ms 第二层（轻量模型）：使用 DistilModernBERT 或量化后的 ONNX 模型处理中等复杂度句子 第三层（完整模型）：仅对第二层置信度低于阈值（建议 0.85）的样本启用完整 ModernBERT 推理
关键性能参数：
- 批处理大小：设置为 8 或 16 以充分利用 GPU 并行能力
- 最大序列长度：根据实际文本分布统计，建议设置为平均句长的 1.5 倍（通常 512-1024 token）
- FP16 推理：可节省约 40% 显存，精度损失在振假名任务中可忽略
对于移动端部署，可考虑将 ModernBERT 转换为 TensorFlow Lite 或 Core ML 格式，配合 Sudachi 的 C++ 原生实现，在 iOS/Android 设备上实现实时标注。
质量评估与迭代策略
振假名标注的评估不能仅依赖字符级准确率，需引入语义合理性检查。建议构建以下评估维度：
- 音读 / 训读一致性：检查同一汉字在相同语境下的读音是否一致
- 复合词完整性：验证多字词的读音组合是否符合词典定义
- 语法角色匹配：通过 Sudachi 的词性标注结果交叉验证读音选择
错误分析应重点关注边界情况：人名地名、旧假名用法、外来语转写、以及网络新词。建议建立持续反馈机制，将用户修正数据回流至训练集，采用增量学习策略每季度更新模型。
参考资料
- EZFurigana: https://ezfurigana.com
- Sudachi Documentation: Works Applications 内部技术文档与开源实现
- ModernBERT Technical Report: 2024 年 12 月 arXiv 预印本
内容声明：本文无广告投放、无付费植入。
如有事实性问题，欢迎发送勘误至 i@hotdrydog.com。