在现代机器学习推理场景中，数据在 CPU 与 GPU 之间的传输往往成为性能瓶颈。传统离散 GPU 架构需要将数据从系统内存拷贝到显存，这一过程不仅消耗宝贵的内存带宽，还引入显著的延迟。Apple Silicon 通过统一内存架构（Unified Memory Architecture，UMA）从硬件层面彻底解决了这一问题，其设计理念是将 CPU、GPU 和神经网络引擎置于同一物理内存池中，实现真正的共享访问。
统一内存池的硬件基础
Apple Silicon 将 CPU 核心、GPU 核心和神经网络引擎全部集成在同一个 SoC 芯片上，它们共享同一个物理内存池，而非像传统架构那样划分为独立的系统内存和显存。在硬件层面，这一设计通过片上互连（On-chip Fabric）实现各计算单元对统一内存池的直接访问。这种架构消除了 CPU 到 GPU 之间通过 PCIe 总线进行数据迁移的根本需求，从物理上确保了任何计算单元都可以直接读写同一块数据，而无需执行显式的内存拷贝操作。
对于 GPU 推理工作负载而言，这一特性意味着模型权重、输入张量和中间计算结果都可以驻留在统一内存池中的同一区域。GPU 在执行推理计算时，直接从该内存区域读取数据，计算完成后结果也直接写回同一位置，CPU 可以立即访问这些结果而无需任何额外的数据转移步骤。这种工作方式在本质上实现了零拷贝（Zero-Copy）的数据流。
统一地址空间的设计优势
Apple Silicon 的另一个核心设计特性是统一地址空间（Unified Address Space）。在传统分离内存架构中，CPU 使用系统内存地址而 GPU 使用显存地址，两者地址空间完全独立，需要通过驱动程序显式管理数据在不同地址空间之间的迁移。然而在 Apple Silicon 上，CPU 和 GPU 共享同一个虚拟地址空间，这意味着同一个指针可以在 CPU 代码和 GPU 代码之间直接传递和使用。
这种统一地址空间的设计使得开发者可以在推理流水线中保持数据结构的引用一致性。举例而言，当使用 Metal 框架进行 GPU 推理时，开发者创建一个MTLBuffer并指定存储模式为storageModeShared，该缓冲区实际上就是统一内存池中的一段物理内存，CPU 端的代码可以直接写入初始数据，GPU 端的 Metal 计算内核可以直接读取同一块内存，执行完成后 CPU 端可以立即读取输出结果。整个过程不存在任何隐式或显式的数据拷贝，数据始终保存在同一物理位置，仅通过指针的传递完成跨计算单元的协作。
Metal 存储模式与工程实现
在工程实践层面，Apple Silicon 的 Metal 框架提供了明确的存储模式选择来控制内存行为。对于需要 CPU 和 GPU 同时访问的场景，开发者应当使用MTLStorageModeShared模式，该模式下的缓冲区在统一内存池中分配，CPU 和 GPU 均具备直接访问权限。这种模式非常适合推理工作负载，因为推理过程通常涉及数据预处理（CPU 执行）、模型推理（GPU 执行）和结果后处理（CPU 执行）的多个阶段，数据可以在整个流水线中保持单次分配、多次使用的模式。
对于追求极致性能的特定场景，Metal 还提供MTLStorageModeManaged模式，该模式允许在特定条件下手动控制数据的缓存一致性，开发者可以通过显式同步操作优化带宽使用。然而在大多数推理场景中，storageModeShared已经能够提供足够的性能，同时大幅简化内存管理的复杂度。值得注意的是，即使使用统一内存架构，开发者仍需关注内存对齐和缓存失效等底层细节，以确保数据修改对所有计算单元可见。
实践考量与性能收益
在实际部署中，利用统一内存架构进行 GPU 推理时需要注意几个关键点。首先是内存容量的全局管理，由于 CPU 和 GPU 共享同一内存池，大型模型的推理可能需要更加精细的内存分配策略，以避免单一操作占用过多内存导致系统可用内存不足。其次是内存带宽的竞争问题，虽然消除了拷贝开销，但多个计算单元同时访问统一内存池时仍会产生带宽竞争，合理调度计算任务可以最大化内存带宽利用率。
从性能角度看，统一内存架构带来的收益不仅体现在延迟的降低上。由于不存在数据拷贝操作，推理过程中可以显著减少内存带宽消耗，这对于需要处理大批量数据或长序列输入的模型尤为重要。同时，零拷贝特性使得推理管线可以更紧密地耦合预处理和推理阶段，减少中间缓冲区的创建和销毁，从而降低内存分配开销并提升整体吞吐量。
Apple Silicon 的统一内存架构从硬件层面重新定义了 CPU 与 GPU 之间的数据交互范式。对于 GPU 推理工作负载而言，这种架构不仅消除了传统意义上的数据拷贝操作，更重要的是通过统一地址空间和共享内存池的设计，使得数据可以在整个推理流水线中保持驻留和可访问状态，从而为构建高效、低延迟的端侧推理系统提供了坚实的硬件基础。
资料来源：Apple Developer Documentation - Metal；Apple Silicon Architecture Overview - WWDC2020