在 AI 算力竞赛中，TPU 与 GPU 的互连架构与生态系统决定了长期 scaling 能力。Google 通过自定义 ICI（芯片间互连）和 OCS（光电路交换）结合 3D torus 拓扑，实现高效集群扩展，避免了 GPU 在 NVLink/InfiniBand 多层交换下的成本与功耗瓶颈。这种设计不仅提升了数据局部性，还降低了网络开销，确保 Google 在万亿参数模型训练与推理中的竞争力。
TPU 自定义互连：ICI + OCS + 3D Torus 的 scaling 优势
TPU 集群从系统级设计，采用 ICI 实现机架内高速互联，每芯片带宽达 600-900GB/s，支持 64 芯片 4x4x4 立方体结构。随后通过 OCS 光交换跨机架扩展，基于 MEMS 微镜技术，直接光域路由，消除光电转换损耗。谷歌数据显示，OCS 将吞吐量提升 30%，电力消耗降低 40%，资本支出减少 30%，网络成本仅占 TPU v4 超级计算机总 CapEx 的 5% 和功率的 3%。
相比之下，GPU 依赖 NVLink（节点内全互连，H100 为 450GB/s，B200 升至 900GB/s）与 InfiniBand（跨节点，NDR 400Gbps），但在 4096 芯片规模需 568 个交换机，而 TPU 仅 48 个 OCS。这种不对称导致 GPU 网络直径增大、延迟累积，尤其在规则通信模式（如集体 all-reduce）下效率低下。3D torus 拓扑确保每个 TPU 仅连 6 个邻居，带宽恒定不随规模衰减，适合深度学习负载。
可落地集群参数：
- Pod 规模阈值：起步 4096 芯片（TPU v4），扩展至 9216（v7），监控网络直径 < 10 hops。
- 带宽密度：ICI 目标 >1.2 PB/s/chip-group，OCS 重配置延迟 <1μs。
- 容错策略：动态路由绕过故障节点，MTBF >10^6 小时，支持 99.999% 可用性。
GPU 扩展瓶颈：分层网络与成本爆炸
GPU 集群采用 fat-tree Clos 拓扑，NVSwitch 聚合带宽从 Hopper 1.6TB/s 升至 Blackwell 3.6TB/s，但跨节点 InfiniBand 引入多层跳跃，延迟随 log(N) 增长。在超大规模下，交换机数量激增导致 CapEx 飙升：4096 GPU 需数百 IB 交换机，功耗占总功率 20%以上。GB200 NVL72 虽推高密度至 72 GPU/机架，但光互连尚未成熟，铜缆极限 <2m 距离限制多柜扩展。
证据显示，TPU v4 集群在 MLPerf 测试中比 A100 高 40%，功耗仅其 1/3-1/9。GPU 虽支持动态图，但 torus 优于 Clos 在均匀通信下的局部性，减少 20-30% 通信开销。
监控与回滚清单：
- 瓶颈指标：All-reduce 延迟 >50μs 时警报；网络利用率 >80% 触发扩容。
- TCO 计算：(能耗 kWh + CapEx $)/FLOP，GPU 阈值 > TPU 1.5x 考虑迁移。
- 回滚参数：分层故障隔离，NVLink 降级至 PCIe 5.0（128GB/s），维持 70% 性能。
生态锁定：TPU Google 栈 vs GPU CUDA 护城河
TPU 深度绑定 XLA 编译器与 JAX/TensorFlow，静态优化脉动阵列（128x128 systolic array），内存访问减至算术的 1/3300，能效高 2-3x。但动态图支持弱，需预编译，锁定 Google 云生态。CUDA 逾 400 万开发者，cuDNN/TensorRT 覆盖 CNN 到 Transformer，灵活性胜出，但通用设计牺牲 20-30% 峰值利用率。
Google 策略：内部 Pathways 运行时支持多模型 Pathways，外部 JAX 渐开，但核心 pod 专用，确保 67% 全球 TPU 算力自用。长期定位：到 2030，TPU pod 达 10^5 芯片，TCO 领先 NVIDIA 50%，锁定搜索/推荐等推理负载。
工程策略清单：
- 生态迁移：基准测试 XLA vs CUDA，阈值：推理延迟 < GPU 1.2x 且成本 <0.7x。
- 混合集群：GPU 前训 + TPU 推理，接口 JAX-PyTorch，监控 KV-cache 共享带宽 >5TB/s。
- 风险对冲：备用 InfiniBand 适配器，切换时间 <1h；开源 XLA 插件提升 15% 兼容。
Google 长期竞赛定位：参数驱动的集群策略
Google 通过 TPU 锁定低 TCO（v4 比 A100 省 35-50%），集群策略聚焦能效墙：液冷 + OCS，PUE <1.1。关键参数：HBM 集成减延迟，VMEM > GPU L2 8x 速度。相比 GPU Blackwell B200（192GB HBM，9TB/s），TPU Ironwood 双倍 Trillium 性能，推理专优化。
落地部署清单：
- 硬件阈值：芯片间 bisection BW >2 PB/s，故障恢复 <10s。
- 软件参数：XLA 融合算子 >90%，动态重编译阈值 <5% 负载。
- 经济模型：ROI = (FLOP/$) / (PUE * TCO)，目标 > GPU 2x，回滚若 <1.5x。
- 监控仪表盘：Prometheus + Grafana，警报：利用率 <85%、热阱 >90°C。
此策略确保 Google 在 AI race 中，凭借互连 scaling 与生态深度，维持 25% 全球算力份额。
资料来源：
- UncoverAlpha "The chip made for the AI inference era – the Google TPU"。
- TPU+OCS vs GPU+CUDA 架构分析报告。