在大语言模型推理服务走向数据中心规模部署的进程中，如何高效调度跨节点 GPU 资源、降低推理延迟、提升整体吞吐量，成为工程团队面临的核心挑战。NVIDIA 开源的 Dynamo 框架正是针对这一场景设计的高吞吐量、低延迟分布式推理服务框架，其调度器设计融合了 KV 缓存感知路由、预填充与解码解耦调度、动态算力池化三大核心机制。本文将从调度器架构入手，深入解析 Dynamo 的设计理念与工程实践参数。
分布式推理调度的核心挑战
传统单体推理架构在面对大规模并发请求时，往往面临 GPU 利用率低下的问题。预填充阶段计算密集、解码阶段内存绑定的特性导致二者资源需求错配，统一部署时容易出现一方瓶颈而另一方空闲的尴尬局面。此外，长上下文请求的处理会阻塞后续短请求的解码阶段，形成队首阻塞效应。KV 缓存的重复计算也是显著的性能损耗源 —— 在多轮对话或前缀共享场景下，相同前缀的 KV 状态需要被反复计算，造成不必要的计算资源浪费。
Dynamo 的调度器设计正是为了解决这些痛点。通过解耦预填充与解码阶段、实现 KV 缓存感知的智能路由、支持动态 GPU 资源调配，Dynamo 能够在保持低延迟的同时最大化数据中心级别的 GPU 利用率。根据 NVIDIA 的官方数据，在 Blackwell GPU 上运行 DeepSeek-R1 模型时，Dynamo 相比传统方案可实现高达 30 倍的请求吞吐量提升。
KV 缓存感知路由机制
Dynamo 的路由层采用 KV 缓存感知策略，在请求分发时综合考量前缀缓存命中情况与各工作节点的实时负载，从而在降低计算冗余与保持负载均衡之间取得平衡。这一机制的核心在于 KvIndexer 组件对 KV 缓存块创建与删除事件的持续追踪，以及路由决策算法对缓存命中收益与负载均衡成本的量化权衡。
在实际部署中，启用 KV 感知路由需要在启动前端节点时指定 --router-mode kv 参数。这一模式下，当后端引擎创建或删除 KV 缓存块时，会同步通知路由器组件，路由器据此维护各节点缓存状态的全局视图。请求到达时，路由器计算各候选节点的前缀缓存重叠得分，并结合节点的当前负载（如队列长度、GPU 利用率等）计算综合路由成本，最终选择成本最低的节点进行处理。
对于缓存命中收益与负载均衡的权衡，Dynamo 提供了 --kv-overlap-score-weight 参数进行控制。该参数值域为 0 到 1，当设置为 1 时，路由器优先选择缓存命中最佳的节点；当设置为 0 时，退化为纯负载均衡模式，忽略缓存命中收益。在生产环境中，通常建议保持默认值 1 以获得最佳的首 token 延迟表现，但在缓存命中率较低或负载严重不均的场景下，可适当降低该值以平衡整体吞吐量。
路由器的随机性由 --router-temperature 参数控制。默认值为 0，表示确定性选择成本最低的节点；提高该值会引入 softmax 采样的随机性，有助于在某些场景下避免路由振荡和热点问题。对于高吞吐、低延迟的生产服务，建议保持默认值 0 以获得可预测的路由行为。
值得注意的是，KvIndexer 的正常工作依赖于后端引擎准确推送 KV 事件。如果后端不支持事件推送或事件延迟较高，可使用 --no-kv-events 参数切换至 ApproxKvIndexer 模式，该模式基于 120 秒固定时间窗口估算缓存命中率，以可接受的精度损失换取实现的鲁棒性。
预填充与解码解耦调度
预填充阶段负责处理输入序列并生成首个输出 token，计算模式以矩阵运算为主，对算力需求高但内存访问相对较少；解码阶段逐 token 生成，内存访问密集而算力需求相对较低。传统架构将二者绑定在同一 GPU 上运行，往往导致算力或内存资源的浪费。Dynamo 通过解耦架构允许预填充与解码阶段在物理上分离的节点上独立执行，从而实现更精细的资源配置。
解耦执行的工作流程包含三个主要步骤：首先，请求的预填充阶段在专用预填充引擎上完成计算并生成 KV 缓存；随后，预填充引擎将 KV 缓存通过高速互联传输至解码引擎；最后，解码引擎加载 KV 缓存并执行解码阶段。这一设计使得针对不同阶段特性的优化成为可能 —— 预填充阶段可采用较大的张量并行度以充分利用算力，解码阶段则可采用更深的流水线并行以提升内存效率。
对于长上下文请求的处理，解耦架构的优势尤为明显。在传统架构中，长上下文预填充会长时间占用 GPU，导致后续短请求的解码被阻塞；解耦架构下，长上下文预填充可在专用节点上异步执行，不会影响其他请求的解码流水线，从而显著降低尾部延迟。
然而，并非所有场景都适合跨节点解耦执行。Dynamo 的调度策略会在本地预填充与远程预填充之间动态选择 —— 如果预填充长度较短或目标解码节点的前缀缓存命中率较高，本地执行往往具有更低的端到端延迟。这一决策逻辑内嵌于路由器的成本模型中，对上层应用透明。
动态算力池化与 SLA 规划
Dynamo 的动态 GPU 调度能力体现在算力池化与 SLA 驱动自动扩缩容两个层面。算力池化机制允许将 GPU 资源抽象为统一池，调度器根据实时负载将算力动态分配至不同的模型服务。当某一模型面临流量峰值时，可从池中临时调配额外 GPU 资源；当流量回落时，资源自动回收至池中供其他模型使用。这一机制显著提升了数据中心的整体 GPU 利用率，避免了传统固定分配模式下的资源闲置。
SLA 驱动的自动扩缩容是动态调度的高级应用场景。Dynamo 内置的 SLA 规划器可根据配置的延迟目标（如 P99 首 token 延迟）与当前负载，自动决策扩缩容时机与规模。在流量爬坡阶段，规划器提前预置资源以避免延迟劣化；在流量下降阶段，规划器逐步回收资源以控制成本。这一闭环自动化机制显著降低了运维团队的手工干预需求。
实际部署中，建议为不同优先级的请求配置差异化的 SLA 目标。高优先级交互式请求可配置更严格的延迟目标，低优先级批处理任务则可容忍更高的延迟以换取更优的吞吐量。调度器会优先保障高优先级请求的延迟达标，同时将低优先级请求作为缓冲以平滑资源利用率曲线。
生产环境关键参数配置
基于上述机制的分析，以下是生产环境部署时的关键参数建议。路由器模式选择上，建议对 KV 缓存复用率高、上下文长度变化大的工作负载启用 --router-mode kv；对于 KV 缓存收益不明显的简单查询任务，可使用默认的随机或轮询模式。缓存权重参数 --kv-overlap-score-weight 建议保持默认值 1，除非观察到显著的负载不均问题。路由随机性参数 --router-temperature 建议保持默认值 0 以获得可预测的路由行为，但在需要避免路由振荡的场景可适度提高。
后端引擎选择上，Dynamo 支持 TRT-LLM、vLLM、SGLang 等主流推理引擎。对于 NVIDIA GPU 密集部署场景，TRT-LLM 通常能提供最优的推理性能；对于需要灵活扩展或社区生态支持的场景，vLLM 和 SGLang 也是可靠的选择。引擎选择应综合考量团队的技术栈熟悉度、与现有基础设施的兼容性、以及特定模型的优化支持程度。
监控与可观测性方面，建议重点关注各节点的 KV 缓存命中率、预填充与解码阶段的负载均衡度、以及端到端延迟分位数。KV 缓存命中率直接反映路由策略的有效性，低于预期的命中率可能提示缓存回收策略过于激进或请求模式缺乏前缀复用特性。负载均衡度可通过对各节点队列长度与处理时长的监控来评估，严重不均的负载分布可能需要调整路由成本模型参数。
总结
NVIDIA Dynamo 的调度器设计体现了对大语言模型推理服务特性的深刻理解。KV 缓存感知路由通过复用历史计算成果降低延迟，预填充与解码解耦通过分离计算与内存密集型工作负载提升 GPU 利用率，动态算力池化与 SLA 规划通过自动化资源调配降低运维成本。三大机制的协同作用使得 Dynamo 能够有效应对数据中心规模部署的复杂性，在保持低延迟的同时最大化整体吞吐量。对于正在构建或优化大规模推理服务的团队，Dynamo 的设计理念与参数配置值得深入研究与借鉴。
资料来源：NVIDIA Dynamo 官方 GitHub 仓库（github.com/ai-dynamo/dynamo）、NVIDIA Dynamo 官方文档（docs.nvidia.com/dynamo）、Baseten 技术博客（baseten.co/blog/how-baseten-achieved-2x-faster-inference-with-nvidia-dynamo）。