在数据中心规模的 LLM 服务框架中，异构 GPU 集群的容错副本选举和自动扩展策略是确保高可用性和资源弹性的核心机制。Dynamo 作为 NVIDIA 开源的分布式推理框架，通过其 Planner 组件和 etcd 协调系统，实现对副本的动态选举和管理，避免单点故障并根据负载实时调整资源分配。这种设计特别适用于混合 Hopper 和 Blackwell GPU 的环境，能显著提升系统吞吐量并降低延迟。
Dynamo 的容错机制依赖于 etcd 的分布式共识协议，该协议支持 Raft 算法进行领导者选举，确保在节点故障时快速切换副本。证据显示，在多节点部署中，当一个 worker 节点崩溃时，etcd 会触发选举过程，新领导者副本在数秒内接管路由和 KV 缓存管理，避免服务中断。根据 Dynamo 文档，Smart Router 会感知 KV 缓存状态，将请求重定向到健康副本，减少重计算开销达 30% 以上。这种机制在异构集群中尤为有效，因为 Planner 能根据 GPU 类型（如 H100 vs B200）优先选举高性能副本作为领导者。
对于自动扩展，Dynamo 的 Load-based Planner 监控 GPU 利用率和请求队列长度，当负载超过阈值时自动添加副本。SLA-based Planner 进一步整合服务水平协议（如 TTFT<200ms），动态缩放 prefill 和 decode 阶段的 replicas。在异构环境中，扩展策略需考虑 GPU 异质性：例如，优先扩展 Blackwell GPU 用于 decode 以利用其更高带宽，而 Hopper 用于 prefill 以平衡成本。
要落地这些策略，首先配置 etcd 集群规模为 3-5 节点，确保选举超时 <1s。副本选举参数包括：heartbeat-interval=100ms，election-timeout=300-500ms；在 Dynamo Planner 中设置 min-replicas=2，max-replicas=10 per model。自动扩展阈值：CPU 利用率> 70% 或 GPU 内存 > 85% 时 scale-up，scale-down 当负载 < 30% 持续 5min。监控要点涵盖：Prometheus 指标如 dynamo_replica_health（0/1 状态）、dynamo_load_avg（平均负载）、etcd_leader_changes（选举次数）；警报规则：如果选举 > 5 次 / 小时，触发回滚到稳定配置。
在 Kubernetes 部署中，使用 Dynamo Operator 自动化 replica 管理：yaml 中指定 resources.requests for heterogeneous GPUs，如 nvidia.com/gpu: h100:1 or b200:1。回滚策略：版本化部署，蓝绿切换；如果扩展失败，fallback 到固定 replicas 模式。风险控制：异构集群中，统一 KV 缓存格式避免兼容问题；测试中模拟故障，验证恢复时间 < 10s。
这些参数和清单确保 Dynamo 在生产环境中可靠运行，支持 LLM 服务的弹性扩展。通过细粒度监控和阈值调优，可将系统可用性提升至 99.99%，在峰值负载下吞吐量提高 2-30 倍，具体取决于模型规模和硬件配置。