# LLM工程基础：分词方案、缩放定律、预训练/微调策略与KV缓存优化 > 基于ZJU-LLMs教材与经典论文，工程化剖析LLM管道：BPE分词、Kaplan/Chinchilla缩放定律、PEFT微调及KV缓存量化/分页优化，提供参数清单与监控要点。 ## 元数据 - 路径: /posts/2025/12/05/llm-engineering-foundations-tokenization-scaling-pretrain-finetune-kv-cache/ - 发布时间: 2025-12-05T06:07:11+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 站点: https://blog.hotdry.top ## 正文 LLM工程管道的核心在于高效处理从输入文本到输出生成的每个环节，确保在有限计算资源下实现高性能推理。ZJU-LLMs的《大模型基础》教材系统阐述了从Transformer语言模型基础到参数高效微调的完整链路，为工程实践提供了权威参考。本文聚焦单一技术管道，结合缩放定律指导资源分配、分词优化序列长度、预训练/微调策略提升模型能力，以及KV缓存优化加速推理服务。 分词方案是管道起点，直接影响序列长度与计算复杂度。主流采用BPE（Byte-Pair Encoding）或SentencePiece，通过迭代合并高频字节对构建词汇表，避免OOV问题。Byte-level BPE（BBPE）以UTF-8字节为基元，支持多语言如中文（character_coverage=0.9995）。工程参数：vocab_size=32000（LLaMA标准），byte_fallback=True确保无OOV；训练语料采样几GB，SentencePiece命令`spm.SentencePieceTrainer.train(input='corpus.txt', vocab_size=32000, model_type='bpe')`。监控要点：Fertility（平均Token/词）<1.5，序列长度压缩率>0.3。证据显示，BBPE在中文上将平均Token数降至1.2/词，提升Transformer O(n²)效率20%。 Transformer缩放定律指导预训练资源分配，避免无效扩展。Kaplan定律（arXiv:2001.08361）揭示损失L(N,D,C)∝N^{-α}D^{-β}C^{-γ}，α≈0.34,β≈0.28，最优C≈6ND，算力增10倍时N增5.37倍、D增1.86倍。[1]Chinchilla修正为N∝D∝C^{0.5}，强调数据均衡。工程清单：预算C=10^{24}FLOPs时，N_opt≈70B,D_opt≈1.4T tokens；小规模验证用小模型拟合曲线。风险：Kaplan偏模型大Chinchilla偏数据多，监控val_loss幂律拟合R²>0.95，回滚至均衡点。ZJU教材第2章架构演化验证，Decoder-only如GPT优于Encoder。 预训练采用下一Token预测（NTP）在万亿tokens语料上自监督学习通用表示。策略：混合FP16/BF16，AdamW优化器(lr=6e-4,warmup=10%),梯度裁剪1.0。微调转向SFT+PEFT：监督微调用1-10万指令数据，LoRA(r=16,alpha=32,dropout=0.1)仅训0.1%参数，QLoRA进一步INT4量化。ZJU第4章详述Adapter/LoRA低秩适配，参数：target_modules=['q_proj','v_proj'],lora_alpha=32。清单：SFT epochs=3,batch=32；RLHF可选DPO避RM训练。监控：perplexity<2.5，任务BLEU/ROUGE>0.7。 推理服务瓶颈在KV缓存：自回归解码存历史K/V避免重算，但内存O(batch*seq*heads*dim)。优化：GQA/MQA减heads至8/1；INT4/8量化75%节省；PagedAttention(vLLM)分页block_size=16，动态分配。工程参数：kv_cache_quant='int4',max_seq=4096,gpu_memory_util=0.9。清单：监控cache_hit>90%,eviction_rate<5%；超时阈值2s，回滚greedy采样。实践显示，vLLM+PagedAttention吞吐提升2-4x。 工程落地参数汇总： - 分词：vocab=32k,BPE+byte_fallback - 缩放：N:D=1:20,C=6ND - 训：lr=1e-4,batch=1024,PEFT LoRA r=16 - 推理：GQA heads=8,KV INT4,paged=16 资料来源：[1] ZJU-LLMs/Foundations-of-LLMs GitHub；[2] Kaplan et al. Scaling Laws for Neural Language Models, arXiv:2001.08361。 ## 同分类近期文章 ### [NVIDIA PersonaPlex 双重条件提示工程与全双工架构解析](/posts/2026/04/09/nvidia-personaplex-dual-conditioning-architecture/) - 日期: 2026-04-09T03:04:25+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 NVIDIA PersonaPlex 的双流架构设计、文本提示与语音提示的双重条件机制，以及如何在单模型中实现实时全双工对话与角色切换。 ### [ai-hedge-fund：多代理AI对冲基金的架构设计与信号聚合机制](/posts/2026/04/09/multi-agent-ai-hedge-fund-architecture/) - 日期: 2026-04-09T01:49:57+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析GitHub Trending项目ai-hedge-fund的多代理架构，探讨19个专业角色分工、信号生成管线与风控自动化的工程实现。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [tui-use 框架：让 AI Agent 自动化控制终端交互程序](/posts/2026/04/09/tui-use-ai-agent-terminal-automation-framework/) - 日期: 2026-04-09T01:26:00+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 详解 tui-use 框架如何通过 PTY 与 xterm headless 实现 AI agents 对 REPL、数据库 CLI、交互式安装向导等终端程序的自动化控制与集成参数。 ### [LiteRT-LM C++ 推理运行时：边缘设备的量化、算子融合与内存管理实践](/posts/2026/04/08/litert-lm-cpp-inference-runtime-quantization-fusion-memory/) - 日期: 2026-04-08T21:52:31+08:00 - 分类: [ai-systems](/categories/ai-systems/) - 摘要: 深入解析 LiteRT-LM 在边缘设备上的 C++ 推理运行时，聚焦量化策略配置、算子融合模式与内存管理的工程化实践参数。