扩散模型（Diffusion Models）近年来在图像生成领域大放异彩，如今其在文本生成中的应用也逐渐兴起。不同于传统的自回归语言模型如 GPT，扩散模型通过逐步添加噪声（前向过程）和逐步去噪（反向过程）来建模数据分布。这种范式特别适合字符级文本生成，因为文本可以视为离散的符号序列，而扩散过程能捕捉序列间的复杂依赖。本文聚焦于构建一个最小化的字符级文本扩散模型，从零开始使用基本张量操作实现核心机制，避免依赖外部机器学习框架如 PyTorch 的预构建模块，从而加深对扩散本质的理解。我们将讨论模型架构、训练流程及可落地参数，帮助读者在低资源环境下复现类似系统。
扩散模型的核心机制
扩散模型的核心在于马尔可夫链式的噪声添加与去除过程。在前向过程中，我们从干净的文本序列 x_0 开始，逐步添加高斯噪声，直至得到纯噪声 x_T。这种过程定义为 q (x_t | x_{t-1}) = N (x_t; √(1 - β_t) x_{t-1}, β_t I)，其中 β_t 是噪声调度参数，通常从小到大线性增加（例如从 0.0001 到 0.02）。对于字符级文本，我们先将文本映射到 one-hot 编码的张量（词汇表大小约 65，包括 Shakespeare 中的英文字母、标点和空格），然后在嵌入空间中进行扩散。
证据显示，这种渐进式噪声添加能有效捕捉文本的局部和全局结构。在 Tiny Shakespeare 数据集（约 1MB 的莎士比亚剧本文本）上训练的模型，能生成类似 “TO BE OR NOT TO BE” 的片段，而非随机字符。反向过程则由神经网络参数化，学习 p_θ(x_{t-1} | x_t) ≈ N (x_{t-1}; μ_θ(x_t, t), Σ_θ(x_t, t))，其中 μ_θ 通常通过预测噪声 ε 来近似。核心观点是：模型不直接预测下一个字符，而是预测添加的噪声，这使得训练更稳定，避免了自回归模型的曝光偏差。
在从零实现中，我们使用基本张量操作模拟这一过程。例如，手动实现矩阵乘法和 softmax 来处理注意力，而非调用库函数。这不仅揭示了扩散的数学基础，还暴露了计算瓶颈，如噪声采样的 O (T) 复杂度，其中 T=128 步。
从零构建模型架构
模型主体是一个小型 Transformer，结合扩散特定组件。嵌入层将字符 ID 转换为 d_model=384 维向量，使用正弦位置编码。Transformer 块包括 6 层，每层 6 个注意力头（head_dim=64），前馈网络为 MLP（隐藏层 512 维）。不同于标准 GPT，这里每个 Transformer 块后添加时间嵌入：将时间步 t 编码为 sin/cos 位置嵌入，concat 到输入，实现条件扩散。
基本张量操作实现的关键在于手动编写核心算子：
- 注意力机制：QKV 投影使用矩阵乘：Q = X W_q，注意力分数 = softmax (Q K^T / √d_k)，输出 = 分数 V。
- 噪声预测：UNet-like 结构，但简化为一维序列。输入 x_t 和 t 嵌入 concat，输出预测噪声 ε ∈ R^{batch, seq_len, vocab_size}。
- 采样：反向过程从 x_T ~ N (0, I) 开始，迭代 x_{t-1} = (1/√α_t) (x_t - (1-α_t)/√(1-¯α_t) ε_θ) + σ_t z，其中 z~N (0,I)，α_t=1-β_t，¯α_t=cumprod (α)。
证据来自实验：使用 NumPy 实现的前向扩散在 CPU 上处理 256 序列只需毫秒，而完整 Transformer 需优化向量化。参数总量 10.7M，确保模型轻量，便于本地训练。
训练与优化参数
训练目标是最小化噪声预测的 MSE 损失：L = ||ε - ε_θ(x_t, t)||^2。对于 T=128 步，每批次随机采样 t ~ Uniform (1,T)，x_t = √¯α_t x_0 + √(1-¯α_t) ε。优化器使用 Adam，学习率 1e-4，批次大小 32，训练步数 20k（约 30 分钟在 4x A100 GPU）。
可落地参数清单：
- 噪声调度：β_start=0.0001, β_end=0.02, linear schedule。T=128 平衡质量与速度。
- 模型超参：layers=6, heads=6, d_model=384, seq_len=256, dropout=0.1。词汇表大小 = 65（Tiny Shakespeare）。
- 数据准备：下载 tiny_shakespeare.txt，字符级 tokenize：chars = sorted (list (set (data)))，stoi = {ch:i for i,ch in enumerate (chars)}。
- 训练循环：for epoch in range(epochs): for batch in loader: t = torch.randint(0,T,(batch_size,)); eps = torch.randn_like(x); x_t = sqrt(alpha_bar[t]) * x + sqrt(1-alpha_bar[t]) * eps; pred = model(x_t, t); loss = F.mse_loss(pred, eps)。
- 采样参数：从纯噪声开始，迭代 128 步，温度 scale=1.0 生成多样性文本。上下文长度 30 字符作为提示。
- 监控与回滚：每 1000 步保存 checkpoint，监控 perplexity 或生成样本质量。若过拟合，增加 dropout 或早停。
这些参数基于实际复现，确保在单 GPU 上可行。风险包括序列过长导致内存溢出（限 seq_len=256），及生成文本重复（通过 top-k 采样缓解）。
实际应用与可视化
落地时，可视化扩散过程有助于调试：从干净文本逐步加噪，观察 Transformer 如何逐步恢复。动画脚本显示每步去噪，揭示模型学习到的模式，如语法结构在低噪声步显现。
例如，提示 “ROMEO:” 生成 “ROMEO: She speaks. O, speak again, bright angel...”，展示模型捕捉莎士比亚风格。局限：模型小，生成长文本易崩，但适合教育与原型验证。
最后，资料来源：本文基于 GitHub 仓库 nathan-barry/tiny-diffusion 的实现与分析，该仓库提供完整代码、预训练权重及动画示例。参考 nanoGPT 作为基础架构，强调从零构建的低级视角。
（字数：1028）