当我们审视当今主流语言模型的内部表征时，一个引人深思的现象浮现出来：无论架构如何 —— 无论是基于 Transformer 的大语言模型，还是经典的循环神经网络，抑或是词嵌入模型 —— 它们在处理数字时竟然发展出了惊人相似的编码方式。这种现象被学术界称为「收敛演化」，它挑战了我们对模型学习过程的直觉，也为模型可解释性研究开辟了新路径。
数字表征的两层等级结构
最新研究表明，语言模型学习数字表征时呈现出一个清晰的两层等级结构。在第一层，所有模型都会在傅里叶域中学习到周期性的稀疏特征，其主导周期集中于 T=2、5、10 这三个数值。这意味着无论模型的具体架构是什么，它们的内部激活都会表现出与这些周期相关的特征响应模式。当研究者对模型进行探测分析时，会发现在傅里叶空间中，数字相关的激活呈现出明显的尖峰结构，这些尖峰恰好对应着上述周期值。
然而，第二层结构则表现出更明显的差异性。只有部分模型能够发展出几何可分的特征，使得模型能够通过线性分类器对数字进行模 T 分类。换言之，这些模型不仅在傅里叶域表现出周期性响应，还能将这种周期性转化为几何空间中的可分离表示，从而支持更精细的数字推理任务。这种差异性揭示了一个重要事实：傅里叶域的稀疏性是必要但非充分条件，模型还需要满足额外的条件才能实现真正的几何可分性。
收敛演化的背后机制
为什么独立训练、不同架构的模型会收敛到相似的数字表征范式？研究者识别出了两条主要的演化路径。第一条路径依赖于自然语言数据中的互补共现信号。具体而言，文本与数字的共现关系以及不同数字之间的交叉交互为模型提供了丰富的学习信号。当模型在大规模语料上进行训练时，数字之间的语义关系（如「两点」「二十」「二百」等表达中的模式）会被自动捕获并编码为参数知识。
第二条路径则源自多令牌加法问题的训练信号。有趣的是，研究发现单令牌加法问题并不足以触发几何可分特征的发展；只有包含多个令牌但不属于单一令牌加法的问题才能诱导模型发展出这类特征。这一发现表明，模型学习数字表征的过程并非由单一因素决定，而是多种训练信号协同作用的结果。数据、架构选择、优化器配置以及分词器设计都在这一过程中扮演关键角色。
工程实践中的启示
对于从事大语言模型开发和应用的技术团队而言，这些发现蕴含着重要的工程实践意义。首先，在模型可解释性方面，我们可以利用已知的周期结构设计更精确的探测探针。通过针对特定的傅里叶分量进行探测，开发者可以更有效地理解模型如何在内部表示和处理数值信息，这对于调试模型行为和识别潜在偏差具有重要价值。
其次，在跨模型知识迁移方面，收敛演化现象为我们提供了理论依据。既然不同模型倾向于学习相似的数字表征，那么从一个模型中提取的数字相关知识或许可以有效地迁移到另一个模型。这一发现为模型蒸馏和迁移学习提供了新的思路：教师模型在数字推理任务上的专业知识可以通过针对性的特征提取传递给学生模型，而无需进行完整的端到端训练。
第三，在模型训练策略层面，理解数字表征的形成机制可以帮助我们设计更有效的训练配方。分词器的选择对最终表征的影响尤为显著：不同的数字分词方式会导致模型学习到不同的周期结构。因此，在构建面向数值推理任务的应用时，应当仔细评估分词方案对模型数值理解能力的影响。
实践参数与监控要点
基于当前研究成果，以下参数和监控点可供工程实践参考。在模型探测方面，建议使用周期 T∈{2,5,10} 的正弦基函数构建探测分类器，验证模型是否在相应周期上表现出显著激活。对于需要强数值推理能力的应用场景，应当在验证集中纳入多步算术推理样本，评估模型是否已发展出几何可分的数字表征。
在模型对比评估中，可以采用表征相似性分析方法，计算不同模型在数字 Token 上的激活向量之间的相似度。如果相似度较高，说明模型可能遵循了收敛演化路径，这在一定程度上是可预测性的积极信号。相反，如果相似度较低，则可能表明模型采用了非典型的数字编码策略，值得进一步调查。
需要注意的是，当前研究主要聚焦于英语语料训练的模型，其他语言环境下的收敛演化现象可能存在差异。跨语言的数字表征一致性是一个值得深入探索的方向，对于构建全球化部署的多语言模型系统尤为重要。
资料来源
本文核心内容基于 arXiv 论文 arXiv:2604.20817v1（2026 年 4 月提交），作者为 Deqing Fu、Tianyi Zhou、Mikhail Belkin、Vatsal Sharan 和 Robin Jia。该论文系统性地分析了 Transformer、线性 RNN、LSTM 及经典词嵌入模型在学习数字表征过程中的收敛与分化现象。