自省扩散语言模型的 token 生成机制与工程实践

扩散语言模型（Diffusion Language Models，DLM）以其并行 token 生成的特性长期被视为突破自回归（AR）解码顺序瓶颈的潜在方案，然而在实际部署中，DLM 的生成质量始终与同规模 AR 模型存在显著差距。I-DLM（Introspective Diffusion Language Model）于 2026 年提出，通过引入 ** 自省一致性（Introspective Consistency）** 机制，首次实现了 DLM 与同规模 AR 模型的质量对齐，并在高并发场景下实现 2.9 至 4.1 倍的吞吐量提升。本文聚焦其 token 生成的核心工程实现，从验收标准、参数配置到服务集成提供可落地的技术细节。

从质量差距到自省机制

传统 DLM 在训练阶段专注于去噪目标的学习，即给定带噪声的序列预测原始 token，但这一过程并未显式要求模型对自身已生成的 token 进行验证。对比自回归语言模型，其训练范式天然将「生成」与「自省」统一于同一前向传播之中 —— 模型在预测下一个 token 的同时，也在隐式评估当前序列的一致性。I-DLM 正是基于这一洞察，提出了 ** 自省一致性训练（Introspective-Consistency Training）** 框架：将被掩码的序列与干净序列拼接作为输入 [x_t | x_0]，采用严格的因果注意力掩码，并在掩码位置与干净位置同时计算交叉熵损失。这一训练范式使模型习得了在生成新 token 时验证已有 token 的能力。

在此基础上，I-DLM 采用了 Introspective Strided Decoding（ISD） 作为推理阶段的解码策略。ISD 的核心创新在于：在单次前向传播中同时执行 token 生成与 token 验证。具体而言，前向传播中的 MASK 位置负责依据分布 $q$ 提议新 token，而 CLEAN 位置则负责依据锚点分布 $p$ 验证先前生成的 token。通过引入 p/q acceptance criterion（即 min(1, p(x)/q(x))），ISD 保证最终输出的分布与原 AR 模型分布严格一致，从而实现 bit-for-bit lossless 的输出质量。

Token 生成的核心参数与验收机制

在工程实现中，ISD 的 stride 参数（即每次前向传播生成的 token 数量 $N$）与 acceptance rate（接受率 $p$）是决定生成效率与质量的关键变量。根据 I-DLM 的实验数据，当 $N=4$、$p=0.90$ 时，每个前向传播可处理约 7 个查询（$2N-1$），TPF（Tokens Per Forward）达到约 2.9，意味着在内存受限的解码场景下可实现近 3 倍的实际加速。若继续增大 stride 至 $N=8$，TPF 可提升至 4.0 以上，但接受率的几何衰减（位置 $k$ 的接受概率为 $p^{k-1}$）会导致有效输出的期望值下降，实践中需要在延迟与吞吐量之间做权衡。

验收机制的具体实现依赖分布 $p$（锚点分布，来自 CLEAN 位置）与 $q$（提议分布，来自 MASK 位置）的比值计算。当 $q (x) > p (x)$ 时，提议 token 被直接接受；当 $q (x) \le p (x)$ 时，以概率 $p (x)/q (x)$ 接受。这一机制确保了模型输出的分布与 AR 解码一致，从根本上消除了传统 DLM 中常见的分布偏移问题。对于追求完全无损输出的场景，I-DLM 引入了 R-ISD（Residual ISD） 机制：通过在 MASK 位置激活 gated LoRA 适配器（rank=128），在验证位置仅使用基础权重，可实现相对于基线 AR 模型的开销仅为 1.12 倍的 bit-for-bit 输出一致性。

服务部署与 SGLang 集成

I-DLM 的另一工程优势在于其严格的因果注意力设计，使其能够直接集成到现有的 AR 推理服务架构中，无需构建定制化基础设施。官方推荐使用 SGLang 作为推理后端，典型的服务启动命令如下：

python -m sglang.launch_server \
    --model-path yifanyu/I-DLM-8B \
    --trust-remote-code --tp-size 1 --dtype bfloat16 \
    --mem-fraction-static 0.85 --max-running-requests 32 \
    --attention-backend flashinfer \
    --dllm-algorithm IDLMBlockN \
    --dllm-algorithm-config inference/configs/idlm_blockN4_config.yaml \
    --port 30000

其中 --dllm-algorithm IDLMBlockN 指定了 ISD 的具体实现算法，配置文件 idlm_blockN4_config.yaml 则定义了 stride 大小、接受率阈值等运行时参数。在实际部署中，建议将 mem-fraction-static 设置在 0.80 至 0.90 之间，以保留足够的 KV cache 空间应对高并发请求；max-running-requests 的取值需根据 GPU 显存与目标延迟进行调优，默认值 32 适用于 80GB 显存的 H100 部署场景。

I-DLM 在 SGLang 生态中可充分利用多项优化手段：Paged KV Cache 与连续批调度（continuous batching）保障内存利用率；CUDA Graph 捕获可提升 42% 至 76% 的吞吐量；Stationary-batch 解码循环调度进一步带来 11% 至 21% 的性能提升；Argmax 提议策略可实现 11% 至 15% 的加速；Paged-only 注意力内核则贡献 10% 至 14% 的提升。综合各项优化，完整系统相较于朴素基线可实现 2.1 至 2.5 倍的端到端吞吐量提升。

监控要点与回滚策略

在生产环境中部署 I-DLM 时，需要关注以下监控指标：首先，接受率（Acceptance Rate）是反映生成质量的核心指标，p/q 验收机制的实际接受率应保持在 0.88 以上，低于此阈值可能导致输出质量退化；其次，TPF 比率应作为实际加速比的观测指标，在内存受限场景下 TPF 与 wall-clock speedup 近似线性对应；最后，GPU 利用率与显存占用的时序变化有助于识别批处理效率的波动。

当遇到模型输出异常或延迟突增时，可考虑以下回滚策略：切换至 R-ISD 模式使用 gated LoRA 可在几乎不增加延迟的前提下恢复与 AR 模型完全一致的输出质量；或将 stride 参数从 N=4 降低至 N=2 以降低验证开销，尽管这会牺牲部分并行度但可显著提升接受率。若对延迟敏感但对输出分布一致性要求相对宽松，可关闭 p/q 验收机制，仅依赖模型的原生生成能力。

I-DLM 通过自省一致性机制与 ISD 解码策略，首次在工程层面证明了 DLM 能够在保持并行生成优势的同时达到 AR 模型的质量水平。对于需要在高并发场景下兼顾吞吐量与输出一致性的生产系统，I-DLM 提供的 stride 参数配置、p/q 验收机制与 SGLang 集成方案具备直接落地的参考价值。

资料来源：I-DLM 官方项目页面 https://introspective-diffusion.github.io