在 Hot Chips 2025 的会话 1 中，多个厂商展示了最新的 CPU 微架构设计，这些设计针对可扩展 AI 工作负载和低延迟推理进行了优化。核心焦点在于分支预测的准确性提升、乱序执行（OoO）流水线的效率改进，以及缓存层次结构的平衡设计。这些创新并非简单堆砌硬件资源，而是通过工程化参数和监控机制，确保在高并发 AI 场景下实现低延迟和高吞吐量。本文将从观点出发，结合证据，逐步拆解这些优化策略，并提供可落地的工程参数和检查清单，帮助开发者在实际部署中应用。
首先，考虑分支预测的优化，这是 CPU 性能瓶颈之一，尤其在 AI 推理中，条件分支频繁出现，如神经网络决策树或条件加载数据。传统预测器如 GShare 已不足以应对复杂模式，而 Hot Chips 展示的设计转向 TAGE-SC-L 等高级结构。例如，Condor Computing 的 Cuzco RISC-V 核心采用 TAGE（Tagged Geometric）预测器，结合统计校正器（SC）和循环预测器（L），其基础表为 16K 条目双模计数器。这种设计通过多历史长度表高效利用存储，选择最适历史长度，避免固定历史导致的低效。证据显示，在模拟测试中，Cuzco 的分支预测准确率达 95% 以上，远高于基线 TAGE 的 92%。对于 AI 工作负载，这意味着减少分支误预测惩罚，从 10 周期降至更低，特别适合低延迟推理场景如实时图像识别。
工程落地时，分支预测优化的关键参数包括历史长度分布和表大小预算。建议初始配置：TAGE 表历史长度为 8-64 位，分配预算中基础表占 40%，高阶表渐减至 10%；SC 组件阈值设为 TAGE 错误率 > 5% 时激活。监控点：使用性能计数器跟踪误预测率（目标 < 5%），若超标，调整标签位数（从 12 位增至 16 位）。检查清单：1. 验证预测器在 AI 基准（如 MLPerf 推理）下的命中率；2. 测试分支密集代码的延迟波动，确保 < 2 周期泡泡；3. 回滚策略：若准确率降至 90%，切换至纯 TAGE 模式，牺牲少量准确换取稳定性。
其次，乱序执行流水线的优化聚焦于调度机制的简化与功率效率平衡。传统 OoO 依赖动态调度队列，资源检查每周期执行，复杂度高且功耗大。Cuzco 引入 “时间基” 调度，在重命名 / 分配阶段预测指令时间表，使用时间资源矩阵（TRM）预留未来 256 周期的执行端口、功能单元和总线资源。搜索窗口仅 8 周期，处理 8 条指令时访问 64 行 TRM，避免全矩阵搜索的开销。模拟结果显示，与 “贪婪” 调度相比，性能仅降 2-3%，但功率节省 15%，重放率 70/1000 指令，主要因 L1D 未命中假设。Intel 的 Clearwater Forest 使用 Skymont E 核，进一步扩展 OoO 窗口至 256 条目 ROB，结合 3D 堆叠实现 288 核密度，支持 AI 并行推理。
在工程实践中，OoO 流水线参数需针对 AI 负载调优：TRM 深度设为 128-256 周期，窗口大小 4-8 周期；E 核配置中，执行切片数匹配负载（AI 推理用 2-4 切片，每切片双流水线）。证据：Skymont 在桌面测试中，L2 带宽达 64B / 周期 / 核，集群总 256B / 周期，隐藏内存延迟达 35GB/s。监控：追踪重放率（目标 <50/1000），总线冲突率 < 10%；若高，增大 TRM 行数。检查清单：1. 基准测试 OoO 窗口利用率> 80%；2. 在多核 AI 任务中验证延迟 < 100ns；3. 风险缓解：负载依赖预测错误时，启用毒位重放，阈值设为 5% 错误率触发回滚至顺序执行。
缓存层次结构的工程化是第三个关键，针对 AI 的随机访问和低延迟需求。传统 L3 共享易导致争用，而会话中设计强调分层与可配置。Cuzco 的 L1I 64KB 8 路组相联，L1D PIPT 64 条目全相联 TLB，L2 私有 2MB（TSMC 5nm 下 1.04mm²），L3 集群共享，每核 64B / 周期带宽。Clearwater Forest 的 576MB L3 分片，与内存控制器对齐，减少 NUMA 延迟，支持 DDR5-8000 达 1.3TB/s 读带宽。PEZY-SC4s 的多级缓存（L1D 4KB，L2D 64KB/16 PE，L3 64MB）结合本地存储 24KB，L3 延迟 100-160 周期，却提供 12TB/s 读带宽，适合 FP64 AI 模拟。
优化参数：L2 大小 1-4MB / 核，L3 分片匹配核数（每片 8MB，带宽 64B / 周期 / 片）；AI 推理中，优先 L2 命中率 > 90%，通过预取器增强。证据：Clearwater Forest 的 L2 簇带宽翻倍至 256B / 周期，L3 容量优势在高 L2 命中下降低 DRAM 访问 20%。监控：缓存未命中率 <10%，跨片转发延迟 1 周期。检查清单：1. 评估 AI 工作负载的 L3 带宽利用（目标> 80%）；2. 测试低延迟场景下 TLB 覆盖率 > 95%；3. 回滚：若争用高，动态分区 L3，阈值带宽降 30% 时激活。
IBM Power11 的演进设计进一步印证这些优化，延续 Power10 的 AI 推理焦点，核心微调提升时钟和核数，无需大改 ISA。整体，这些 Hot Chips 洞见强调平衡：预测准确减少泡泡，调度简化降功耗，缓存分层藏延迟。对于可扩展 AI，建议系统级参数：核集群 8 核 / 组，CHI 总线 64B / 周期；低延迟推理阈值 < 50ns 端到端。风险包括高密度下的热管理和功耗，限值设为 TDP<300W / 芯片。
通过这些工程实践，开发者可构建高效 CPU 系统。实际部署中，结合模拟工具如 gem5 验证参数，迭代优化，确保 AI 负载下性能稳定。未来，随着 RISC-V 和 E 核普及，这些策略将驱动更智能的边缘推理。
（字数：1028）