当业界普遍聚焦于如何微调已有大模型或搭建 Agent 框架时，一个根本性的问题往往被忽视：如果要从零训练一个语言模型，完整的工程路径是什么？无论是为了深入理解 Transformer 内部机制，还是为了在特定领域构建完全自主的预训练模型，掌握从零训练的技术栈都变得愈发重要。本文将基于一个实践性极强的开源工作坊，结合当前行业的硬件与软件最佳实践，系统梳理从零训练 LLM 过程中的三个核心工程环节：数据准备、计算资源配置与训练稳定性保障。
数据准备：从原始文本到训练张量的完整流水线
训练任何语言模型的第一步都是将原始文本转换为模型可处理的数值表示，这一过程涉及数据采集、清洗、分词与向量化等多个环节。分词策略的选择直接影响模型的学习效率与最终表现，业界通常根据数据集规模做出差异化决策。对于小规模数据集（通常在数百兆字节以下），字符级分词是一种实用选择。以莎士比亚作品集为例，其语料仅约 1MB，采用字符级分词能够构建出紧凑的词表，典型规模为 65 个字符（包含大小写字母、标点与空格），这种方案的优势在于词表极小、推理时的 tokenization 过程完全可逆，且不会遇到未登录词问题。然而，当数据规模扩展到百兆字节以上时，字符级分词的粒度过细，导致序列长度爆炸式增长，学习效率显著下降，此时应转向基于字节对编码（Byte Pair Encoding, BPE）或 SentencePiece 等算法的子词分词方法。GPT-2 系列的 50257 词表就是 BPE 的典型应用，其核心思想是将高频字符序列合并为新 token，在紧凑性与表达能力之间取得平衡。
数据清洗是另一个不可忽视的环节。原始网络语料通常包含大量低质量内容，如重复文本、HTML 标签、机器翻译痕迹以及各类噪声。标准清洗流程包括去重（精确去重与近似去重）、过滤极端长度样本、移除异常字符编码以及基于规则的过滤。对于中文语料，还需要额外的分词预处理或直接采用字节级 BPE 以保持跨语言一致性。清洗完成后，数据通常以二进制格式（如 WebDataset 或自定义的 memmap 格式）存储，以便训练时实现高吞吐量的随机访问与流式读取。
计算资源配置：GPU 选型、内存估算与分布式策略
理解不同规模模型所需的计算资源，是规划自托管预训练项目的基础。基于公开的实践数据，我们可以建立一套直观的参考体系。以笔记本级硬件为例，约 50 万参数的极小模型可在 5 分钟内完成训练；400 万参数的小型模型需要约 20 分钟；而约 1000 万参数的中等规模模型在苹果 M3 Pro 芯片上约需 45 分钟。这些数字对应的模型配置分别为：2 层 transformer、2 个注意力头、128 维嵌入层；4 层、4 头、256 维；6 层、6 头、384 维。所有配置均采用 256 的上下文长度与字符级分词（词表大小 65）。
当模型规模从千万级扩展到数十亿级时，硬件需求呈现阶跃式增长。一个广泛采用的估算公式是：GPU 内存需求约等于模型参数数量（以十亿为单位）乘以 2，再加上 20% 的系统开销。这意味着一个 70B 参数的模型理论上需要约 168GB 的 GPU 显存，远远超出单卡承载能力。因此，自托管数十亿参数模型的预训练需要采用多 GPU 分布式策略。常见的做法是结合数据并行（Data Parallelism）与模型并行（Model Parallelism），其中数据并行负责将不同批次的训练样本分配到多个 GPU，模型并行则将同一层的参数拆分到不同设备。对于 7B 至 13B 规模的中等模型，四到八块高性能 GPU（如 NVIDIA A100 或 H100，每块 40GB 至 80GB 显存）通常可以满足单节点训练需求；而对于 70B 及以上规模的巨量模型，则需要跨节点互联，此时 100Gbps 以上的高速网络与 NVLink 或 Infinity Fabric 互联技术成为必要基础设施。
存储与 I/O 同样关键。预训练数据集通常达到数 TB 至数百 TB 规模，训练过程中的中间检查点（checkpoint）也需要频繁读写。NVMe SSD 与高并行文件系统（如 Lustre 或 GPFS）是推荐的存储方案。此外，为避免 I/O 成为瓶颈，数据加载通常采用多进程异步预取与混合存储层级策略，将热点数据保留在本地 NVMe 缓存中，冷数据卸载至网络存储。
训练稳定性：梯度裁剪、学习率调度与故障恢复机制
从零训练 LLM 的最大工程挑战之一在于确保训练过程的数值稳定性与可靠性。Transformer 模型由于其深层的非线性结构与自注意力机制，在训练初期极易出现梯度爆炸或 loss NaN 的情况。梯度裁剪（Gradient Clipping）是最基础也是最有效的保障手段，典型阈值设定在 1.0 至 1.5 之间，当梯度的 L2 范数超过阈值时按比例缩放，这能有效防止训练过程中因极端梯度导致的参数破坏。
学习率调度（Learning Rate Scheduling）对训练稳定性与收敛速度同样至关重要。业界标准做法是采用预热（Warmup）与余弦衰减（Cosine Decay）相结合的策略：前 0.1% 至 1% 的训练步骤内，学习率从极小值线性增长至峰值（通常为 1e-4 至 1e-3 量级），随后按照余弦曲线平滑衰减至最终学习率（通常为峰值的十分之一）。预热阶段能够防止模型在参数随机初始化后因学习率过大而发散，而余弦衰减则有助于训练后期更平稳地逼近最优解。优化器选择方面，AdamW（带权重衰减的 Adam）因其自适应学习率与稀疏梯度处理能力成为默认选项，典型配置下 beta 参数为 (0.9, 0.95)，epsilon 为 1e-8，权重衰减系数为 0.1。
大规模训练的另一个现实挑战是硬件故障与中断。长时间预训练过程中，GPU 故障、节点宕机或网络抖动都可能导致训练中断。为此，生产级训练框架通常实现检查点定期保存（建议每 1000 至 5000 步保存一次）、自动重启与断点续训功能。此外，梯度累积（Gradient Accumulation）可用于在有限显存下模拟更大批次，通过将多个小批次的梯度累加后再更新参数，这不仅提升了有效批次大小，还增强了训练过程的数值稳定性。混合精度训练（FP16/BF16）也是当前主流实践，能够在几乎不损失精度的前提下将显存需求减半并提升吞吐量，但需配合损失缩放（Loss Scaling）以防止下溢。
实践参数清单：不同规模模型的配置参考
综合上述分析，以下参数配置可作为从零训练 LLM 的起点参考。对于笔记本或单机环境下的教学级实验（50 万至 1000 万参数），建议使用 PyTorch 的 MPS 后端（Apple Silicon）或 CUDA（NVIDIA GPU），批次大小设为 64 至 128，上下文长度为 256，优化器为 AdamW，学习率峰值 3e-4，预热 100 步，总训练步数 3000 至 10000，梯度裁剪阈值 1.0。对于中等规模实验（1B 至 13B 参数），需要多 GPU 集群，建议使用 DeepSpeed 或 Megatron-LM 进行分布式训练，启用 ZeRO 优化器_stage 2 或 3 以降低单卡显存压力，批次大小可随 GPU 数量线性扩展，学习率峰值 1e-4 至 2e-4，梯度裁剪阈值 1.0。对于大规模生产训练（70B 及以上），则需要完整的多节点集群配置，包括高速互联网络、检查点分布式存储与自动化运维监控体系。
从零训练 LLM 的工程路径远非仅涉及模型代码的编写，从数据 pipeline 的构建到硬件资源的规划，再到训练过程中的稳定性保障，每一个环节都需要谨慎的工程决策。理解这些基础路径，不仅有助于在特定场景下实现完全自主的模型训练，更是深度掌握大语言模型内部工作机制的关键。
资料来源：本文参考了开源项目 llm-from-scratch（https://github.com/angelos-p/llm-from-scratch）的实践教程，以及行业对于自托管 LLM 基础设施的硬件需求分析。