RTX 异构多 GPU 推理：内存池分片与 PCIe 带宽优化策略

在消费级 GPU 上部署多模型推理服务时，异构多代 GPU 的协同工作面临两个核心挑战：PCIe 带宽瓶颈与显存碎片化。本文基于 RTX 5080 实测数据与多路径内存访问（MMA）技术，给出可落地的内存池管理参数与带宽优化策略。

问题背景：PCIe 瓶颈与显存碎片

现代 LLM 推理系统（如 vLLM）常将 KV Cache 或模型权重卸载到主机内存以缓解显存压力，但这导致频繁的 H2D/D2H 数据传输。实测数据显示，在 Qwen-7B-Chat 模型 64K 上下文场景下，Prefix Cache 读取时间可占首 Token 延迟（TTFT）的 70%；而在 vLLM Sleep Mode 的模型切换过程中，PCIe 数据传输占总延迟的 85%–95%。PCIe 5.0 ×16 的理论带宽约 64 GB/s，实际有效带宽仅约 53 GB/s，成为系统吞吐的硬瓶颈。

另一方面，单卡多模型共存时，显存分片策略直接影响模型切换效率。RTX 5080（16GB）实测表明，将 0.5B 模型的显存分配从 100% 降至 30%，吞吐量几乎无变化（12,838 vs 12,766 tok/s），说明合理的内存池分片不会牺牲单模型性能，却能为其他模型腾出宝贵空间。

核心方案：MMA 多路径传输引擎

MMA（Multipath Memory Access）通过利用服务器内部的多条物理链路（PCIe + NVLink），将数据从单一路径扩展为多路径并行传输。其核心机制包括：

任务拦截与 Dummy Task 机制 MMA 拦截 CUDA 内存传输任务，将其替换为轻量级 Dummy Task 提交给 GPU，同时把实际传输任务交由多路径传输引擎调度。当 GPU 执行到 Dummy Task 时，通过回调通知引擎启动多路径传输，完成后再次同步。这种设计无需修改 GPU 硬件或用户代码，通过 LD_PRELOAD 动态库注入即可透明生效。

双级缓冲与被动负载均衡 传输引擎为每个目标 GPU 维护独立的 Micro-task Queue，将大数据块分割为固定大小的 Chunk。关键参数经实测优化：H2D 传输 Chunk Size 约 2.81 MB，D2H 约 5.37 MB；Outstanding Queue Length 设为 2 时可实现最佳流水线效率。引擎通过监控各队列深度被动推断链路拥塞，实现无需显式拥塞信号的动态负载均衡。

直接路径优先策略 为避免不必要的 NVLink 中继开销，MMA 优先使用 GPU 直连的 PCIe 链路，仅在直连链路拥塞时才启用 NVLink 中继。实测表明，该策略可将 GPU P2P 带宽损耗控制在接近零水平，禁用该策略时 P2P 性能下降约 30 GB/s。

量化收益与关键阈值

在 8×H20 GPU 测试平台上，MMA 实现以下性能提升：

• 带宽提升：峰值带宽达 245 GB/s，较单路径原生 CUDA 提升 4.62 倍
• TTFT 优化：Prefix Cache 场景下，Qwen3-32B 模型 64K 上下文的 TTFT 降低 2.38 倍
• 模型切换加速：Sleep Mode 的 wake-up 时间降低 59.7%（约 2.48 倍），fall-asleep 时间降低 56.8%

Fallback 阈值设定 对于小数据传输，多路径机制的开销可能抵消收益。实测确定的盈亏平衡阈值：H2D 约 11.3 MB，D2H 约 13 MB。低于此阈值的数据自动回退到单路径传输。

工程实施 Checklist

部署前配置

• 确认 PCIe 拓扑：确保各 GPU 暴露完整的 PCIe 5.0 ×16 链路，检查 BIOS 设置
• 多模型启动顺序：避免并发启动 vLLM worker，采用顺序启动并健康检查，防止 "No available memory for cache blocks" 竞争
• CUDA Graphs 权衡：三模型以上共存时需关闭 CUDA Graphs（--enforce-eager）或减少模型数量，避免 OOM

内存池参数

• Chunk Size：H2D 2.81 MB，D2H 5.37 MB（基于 MMA 方案）
• Outstanding Queue Length：2
• Fallback 阈值：H2D 11.3 MB，D2H 13 MB

运行时监控

• 监控各 PCIe 链路利用率，识别负载不均衡节点
• 跟踪 Prefix Cache 命中率与 TTFT 相关性
• 观察跨 NUMA 传输时的 UPI 链路瓶颈（6 GPU 以上时易出现饱和）

风险管控

• CPU 开销：MMA 随 GPU 数量线性增加 CPU 负载，8 GPU 时额外开销约 822%，确保 CPU 资源充足
• 显存碎片：定期监控 --gpu-memory-utilization 实际分配与碎片率
• 路由策略：Cache-aware 路由在 working set 溢出时可能劣于 round-robin，需根据负载特征动态调整

局限与适用边界

MMA 当前实现依赖 CPU 驱动的控制平面，对于细粒度小数据传输的收益有限。此外，当参与传输的 GPU 超过 6 个时，跨 NUMA 的 UPI 链路成为新瓶颈，带宽提升趋于饱和。在纯消费级 RTX 平台（无 NVLink）上，MMA 的多路径收益受限，此时更应关注内存池分片策略与 Prefix Caching 的调优。

资料来源

• 实测数据：Serving a Fleet of SLMs on One RTX 5080 (dev.to, 2026-05)
• 技术方案：MultiPath Transfer Engine: Breaking GPU and Host-Memory Bandwidth Bottlenecks in LLM Services (arXiv:2512.16056)

ai-systems