当我们审视当前大语言模型的能力时，一个有趣的问题是：不同架构、不同训练方式的模型，是否会在内部表示上呈现出某种共性？近日，一项关于数字表征的研究揭示了令人惊讶的收敛现象 —— 即便在完全独立的训练过程中，多种语言模型仍然会发展出高度相似的数字编码方式。这一发现不仅加深了对模型内部表征的理解，也为未来模型设计提供了重要参考。
数字编码的收敛演化现象
这项发表在 arXiv 上的研究以「收敛演化」（Convergent Evolution）为题，系统性地考察了超过十种主流语言模型（包括 GPT-2 系列、LLaMA 系列、Mamba 架构等）在处理数字时的内部表征。研究团队通过控制变量实验，系统性地改变了训练数据、模型架构和监督信号，观察数字表征的演化轨迹。实验结果揭示了一个核心发现：不同模型在数字编码上展现出一种与生俱来的相似性，即便它们从未共享过训练数据，也未接受过针对数字任务的显式监督。
这种相似性并非偶然。研究人员发现，多个模型都在内部表示中自发形成了以特定周期（T=2、5、10）为单位的傅里叶特征结构。换言之，模型学会了以周期性脉冲的方式编码数字信息，这些脉冲在傅里叶频谱中表现为显著的特征峰值。这种周期性与模型处理时间序列或进行数学推理的能力是否存在直接关联，目前仍是研究热点，但已有证据表明，这种结构化编码有助于模型捕捉数字间的相对关系。
两层收敛机制：频谱与几何
研究进一步将收敛现象划分为两个层次，帮助我们更精细地理解模型表征的演化逻辑。第一个层次被称为频谱收敛（Spectral Convergence），指的是模型在傅里叶频域中展现出共同的周期性结构。几乎所有受测模型都展现出这一特性，表明频谱收敛可能是数字编码的基础层，由数据本身的分布特性和 Token 化策略所驱动。
第二个层次是几何收敛（Geometric Convergence），指模型发展出能够在几何空间中对数字进行线性可分的能力。并非所有模型都能达到这一层次。研究表明，频谱稀疏性是几何可分的必要条件，但并非充分条件。只有在特定训练信号（例如包含多位数加法任务）或充足的自然语言数据支持下，模型才能在频谱特征的基础上进一步构建出可用于线性分类的几何表征。这一发现解释了为何部分模型在数值推理任务上表现优异，而另一部分则仅能进行基础的数字匹配。
工程启示与实践参数
这一发现对模型工程具有直接的指导意义。首先，研究验证了数字表征的频谱基础具有较强的鲁棒性，即使对模型进行探测扰动，傅里叶峰值仍然保持稳定。这为数字相关任务的模型调试提供了可靠的评估维度 —— 开发者可通过傅里叶分析快速判断模型是否习得基础数字编码。
其次，几何可分性的演化高度依赖训练信号。如果业务场景需要模型具备较强的数值推理能力（如金融分析、科学计算），建议在训练数据中纳入足量的多步数学任务或包含数字间逻辑关系的文本。单纯依赖大规模预训练数据可能仅获得频谱收敛，而无法保障几何可分性。研究中使用的有效训练配置包括：在预训练语料中加入至少 5% 的数学相关文本，并在微调阶段使用包含加减乘除运算的合成数据集。
最后，研究建议采用中心化核相似度（CKA）等度量工具评估跨模型表征对齐程度。CKA 能够有效区分表面相似性与功能性对齐，为跨架构模型的表征比较提供了标准化方法。对于需要多模型协作的系统，了解各模型在数字编码层级的差异有助于设计更高效的信息路由策略。
数字作为语言中最具结构性的符号之一，其表征方式在模型间的收敛揭示了训练数据与模型架构之间的深层约束。这种收敛并非人为设计，而是模型在有限信息下追求高效编码的必然结果。理解这一机制，将帮助我们更好地预测和改进未来语言模型在数值推理领域的表现。
资料来源：本文核心事实来源于 arXiv 论文《Convergent Evolution: How Different Language Models Learn Similar Number Representations》（arXiv:2604.20817），该研究系统论证了跨模型数字表征的两层收敛机制。