在人工智能语言模型快速发展的今天，大多数模型都基于现代语料库训练，这导致它们对历史文本的理解和生成能力存在系统性偏差。TimeCapsuleLLM 项目通过 Selective Temporal Training（STT）方法，从零开始训练仅使用 1800-1875 年伦敦文本的语言模型，为历史语言建模提供了独特的技术路径。然而，这一过程中最核心的技术挑战之一就是词汇表工程 —— 如何为特定历史时期构建有效的分词器，并评估模型的时代适应性。
历史语言模型的词汇表工程挑战
历史语言模型的词汇表工程面临三个主要挑战：语义漂移、文本质量问题和时代特定词汇覆盖率。
语义漂移问题
现代英语与 19 世纪英语之间存在显著的语义差异。以 "gay" 一词为例，在 19 世纪主要表示 "快乐、愉快"，而现代含义已发生根本性变化。这种语义漂移导致基于现代语料库训练的分词器无法准确捕捉历史词汇的原始含义。TimeCapsuleLLM 项目发现，标准分词器会将历史词汇如 "quoth"（古英语 "说"）、"hast"（古英语 "有"）等拆分为多个无意义的子词标记，破坏了词汇的语义完整性。
文本质量问题
历史文本数字化过程中普遍存在 OCR 噪声问题。TimeCapsuleLLM 的早期版本输出中出现了 "Digitized by Google" 等现代注释残留，这反映了历史文本预处理的技术挑战。此外，19 世纪文本的拼写标准化程度较低，同一词汇可能存在多种变体，如 "colour" 与 "color"、"traveller" 与 "traveler" 等，这增加了词汇表构建的复杂性。
时代特定词汇覆盖率
1800-1875 年间的伦敦文本包含大量时代特定词汇，如社会阶层术语（"gentleman"、"commoner"）、职业名称（"chimney-sweep"、"costermonger"）、地理名称（"Newgate"、"Thames"）等。这些词汇在现代语料库中出现频率极低，标准分词器往往无法为其分配独立的标记，导致模型无法准确理解和生成相关内容。
TimeCapsuleLLM 的自定义分词器设计与实现
TimeCapsuleLLM v2 版本采用了自定义 BPE（Byte Pair Encoding）分词器，词汇表大小为 32,000，专门针对 1800-1875 年伦敦文本优化。
分词器训练流程
-
数据收集与清洗：收集 90GB 的 1800-1875 年伦敦文本，包含 136,344 个文档，涵盖书籍、法律文件、报纸等多种类型。清洗过程包括去除现代注释、修复 OCR 错误、标准化拼写变体。
-
BPE 算法应用：采用 Byte Pair Encoding 算法而非 WordPiece，避免产生
##等人工标记。BPE 通过迭代合并最频繁出现的字符对来构建词汇表，更适合处理历史文本中的拼写变体。 -
词汇表大小优化：经过实验，32,000 的词汇表大小在历史词汇覆盖率和模型效率之间取得了最佳平衡。较小的词汇表会导致历史词汇过度分割，较大的词汇表则容易过拟合到罕见词汇。
特殊标记设计
TimeCapsuleLLM 的分词器包含了 150 多个手动设计的特殊标记，专门针对历史语言模式：
- 历史语言标记：古英语代词（
thou、thee、thy）、动词形式（hast、doth、art） - 地理标记：伦敦特定地点（
Newgate监狱、Thames河、Covent Garden） - 社会文化标记：社会阶层（
gentry、working class）、职业（barrister、apothecary） - 时间标记：时代特定日期格式（
Anno Domini、regnal year）
这些特殊标记使模型能够更好地捕捉历史文本的语言特征和文化背景。
时代适应性评估框架构建
评估历史语言模型的时代适应性需要专门设计的评估框架，超越传统的语言模型评估指标。
词汇时代准确性评估
我们设计了基于历史词典的词汇准确性测试集，包含三个维度：
-
语义准确性：测试模型对历史词汇现代含义的抵抗能力。例如，向模型提供 "gay gathering" 的上下文，评估其生成内容是否反映 19 世纪含义。
-
语法模式匹配：评估模型生成文本的语法结构是否符合时代特征。19 世纪英语偏好复杂从句结构和被动语态，与现代英语的简洁风格形成对比。
-
文化参照准确性：测试模型对时代特定文化参照的理解。例如，询问 "Lord Palmerston's foreign policy"，评估模型是否能够基于历史文本生成相关内容。
时间一致性评估
历史语言模型应保持时间一致性，避免出现时代错位的概念。我们设计了时间窗口测试：
- 前向时间污染测试：确保模型不会生成 1875 年之后才出现的概念或词汇
- 后向时间污染测试：确保模型不会错误地引用 1800 年之前的历史事件作为当代知识
TimeCapsuleLLM 的评估显示，v2 版本在时间一致性方面表现良好，但在事实准确性方面仍有改进空间，历史事实幻觉率较高。
跨时代语言迁移评估
为了评估模型的历史语言迁移能力，我们设计了渐进式时间窗口测试：
- 窄时间窗口测试：在 1800-1825、1826-1850、1851-1875 三个子时间段分别评估模型性能
- 时间边界测试：特别关注时间边界附近（如 1875 年）的文本生成质量
- 语言演变追踪：评估模型是否能够反映 19 世纪英语的语言演变趋势
历史语言迁移策略与工程实践
基于 TimeCapsuleLLM 的经验，我们总结出历史语言迁移的工程化策略。
分层词汇表架构
针对大规模历史语言建模项目，建议采用分层词汇表架构：
- 核心历史词汇层：包含时代核心词汇，确保高频历史词汇获得独立标记
- 现代兼容层：包含与现代英语共享的基础词汇，便于与现代系统集成
- 专业领域层：针对特定历史领域（如法律、医学、文学）的专业词汇
- 地理文化层：特定地区和文化背景的词汇
这种分层架构允许在不同应用场景下灵活调整词汇表配置。
动态词汇表更新机制
历史语言模型需要支持动态词汇表更新，以适应不同历史时期的需求：
- 时间滑动窗口：支持定义任意时间窗口的词汇表训练
- 增量学习支持：允许在不重新训练整个模型的情况下添加新词汇
- 词汇重要性评分：基于词汇的历史频率和语义重要性动态调整词汇表
评估指标与监控体系
建立完整的历史语言模型评估与监控体系：
-
时代准确性指标：
- 时代词汇准确率（ERA）：历史词汇正确使用比例
- 时间一致性得分（TCS）：时代错位错误数量
- 文化参照准确率（CRA）：文化参照正确性
-
性能监控仪表板：
- 实时生成质量监控
- 词汇使用模式分析
- 时间污染预警系统
-
A/B 测试框架：
- 不同词汇表配置对比
- 不同时间窗口效果评估
- 不同评估指标相关性分析
工程实现参数建议
基于 TimeCapsuleLLM 的实施经验，我们提出以下工程参数建议：
- 词汇表大小：对于 19 世纪英语，30,000-35,000 的词汇表大小通常最优
- 训练数据量：至少需要 10GB 以上的高质量历史文本才能获得稳定的语言模型
- 特殊标记比例：特殊标记应占词汇表的 0.5%-1%，过多会影响通用性
- 评估集规模：时代适应性评估集应包含至少 1,000 个测试样本，覆盖不同文本类型和时间点
- 监控阈值：
- 时代词汇准确率（ERA）应达到 85% 以上
- 时间一致性得分（TCS）应低于 5%（错误率）
- 响应时间应在 2 秒以内（基于现代硬件）
技术挑战与未来方向
尽管 TimeCapsuleLLM 在历史语言建模方面取得了进展，但仍面临多个技术挑战。
多语言历史建模
当前研究主要关注英语历史文本，但历史语言建模需要扩展到多语言场景。不同语言的历史文本数字化程度、标准化水平和研究资源存在显著差异，需要开发语言自适应的历史词汇表工程方法。
跨时代知识融合
纯粹的历史语言模型虽然时代准确性高，但实用性有限。未来的研究方向包括开发跨时代知识融合机制，使模型能够在保持历史准确性的同时，理解现代查询和需求。
评估标准统一化
目前缺乏统一的历史语言模型评估标准，不同研究使用不同的评估指标和测试集。需要学术界和工业界合作，建立标准化的评估框架和基准测试集。
计算效率优化
历史语言模型的训练和推理计算成本较高，特别是当需要处理多个历史时期或多个地理区域时。需要研究更高效的历史语言建模算法和架构。
结语
TimeCapsuleLLM 项目展示了历史语言模型词汇表工程的复杂性和重要性。通过自定义分词器设计、时代适应性评估框架构建和历史语言迁移策略实施，我们能够创建真正理解特定历史时期的语言模型。这一技术不仅对历史研究和数字人文具有重要意义，也为开发具有时代意识的 AI 系统提供了技术基础。
随着历史文本数字化程度的提高和计算资源的普及，历史语言建模将成为一个重要的研究领域。通过持续优化词汇表工程方法和评估框架，我们有望创建更加准确、实用的历史语言模型，为理解人类语言演变和文化传承提供新的技术工具。
资料来源：
- TimeCapsuleLLM GitHub 仓库：https://github.com/haykgrigo3/TimeCapsuleLLM
- MacBERTh: Development and Evaluation of a Historically Pre-trained Language Model for English (1450-1950)
- 历史语言模型词汇表工程最佳实践研究