随着 AI 模型规模持续膨胀和计算密集型应用普及，GPU 并行计算已成为现代开发者必备技能。CUDA 作为 NVIDIA GPU 编程的事实标准，其学习资源虽多却良莠不齐。本文基于社区精选的 awesome-cuda-books 资源库，梳理一条从入门到精通的结构化学习路径。
入门阶段：建立并行思维
CUDA 学习的首要障碍并非语法，而是思维方式的转变 —— 从串行到并行的范式迁移。对于零基础学习者，《CUDA by Example》（Sanders & Kandrot, 2010）至今仍是最佳起点。这本经典之作采用示例驱动方式，通过短小精悍的代码片段展示核心概念，避免了过早陷入硬件细节的陷阱。
若偏好更现代的入门路径，《Learn CUDA Programming》（Han & Sharma, 2019）提供了 CUDA 10 + 的实战代码仓库，涵盖从向量加法到简单神经网络的基础实现。对于非计算机科学背景的工程师，《CUDA for Engineers》（Yurtoglu & Storti, 2016）以科学计算项目为导向，降低了数学和系统编程的门槛。
此阶段的关键在于动手实践：安装 CUDA Toolkit，编译并修改官方示例代码，理解线程块（block）和线程（thread）的层次结构。
核心架构：理解 GPU 并行处理器
当掌握基础语法后，必须深入理解 GPU 架构才能写出高效代码。《Programming Massively Parallel Processors》（Kirk & Hwu, 2022 第 3 版）被全球多所大学采用，堪称 GPU 架构的 "圣经"。该书从 SIMT 执行模型、内存层次结构到线程调度机制，系统性地构建了 GPU 并行计算的理论框架。
理解 warp 执行、共享内存 bank conflict、全局内存合并访问（coalesced access）等概念，是跨越 "能运行" 到 "跑得快" 的关键分水岭。书中配套的练习和案例研究，建议结合 Nsight Compute profiler 进行实际性能分析。
实战进阶：科学计算与生产部署
理论与实践的结合需要高质量的项目案例。《Programming in Parallel with CUDA》（Ansorge, 2022）提供了 stencil 计算、蒙特卡洛模拟、图像处理等真实科学计算场景，同时展示了现代 C++（包括模板元编程）在 CUDA 中的应用。
对于需要生产级部署的开发者，《Professional CUDA C Programming》（Cheng et al., 2014）涵盖多 GPU 编程、CUDA 流（streams）与事件、以及 cuBLAS/cuFFT 等核心库的使用。该书对常见性能陷阱和调试技巧的总结，能显著缩短从原型到产品的迭代周期。
高级优化：榨取硬件极限
当基础功能实现后，性能优化成为核心挑战。《The CUDA Handbook》（Wilt, 2013）作为深度参考手册，详细解析了每个 API 的底层行为和优化技巧。2024 年以来的新书如 **《CUDA C++ Optimization》**（Spuler, 2024）则专注于 kernel 性能调优和内存优化策略，适合追求极致性能的开发者。
2024-2026 年间涌现的一批新书中，《CUDA Programming from Basics to Advanced》（Oketunji, 2024）覆盖了 CUDA 12.6 新特性，《CUDA Mastery》（Gale, 2024）则深入探讨科学模拟和 CUDA-X 库集成。需要注意的是，这些新书多为自出版，建议结合官方文档和书评进行筛选。
Python 生态与高层抽象
对于 Python 开发者，《Hands-On GPU Programming with Python and CUDA》（Tuomanen, 2018）介绍了 Numba 和 CuPy 等高层工具，无需编写 C++ 即可利用 GPU 加速。2024 年的 **《GPU Programming with C++ and CUDA》**（Motta, 2024）则展示了 C++20 与 Python 互操作（pybind11）的现代实践。
学习路径建议
基于上述资源，建议采用以下分阶段策略：
阶段一（1-2 周）：阅读《CUDA by Example》前 6 章，完成官方 vectorAdd 和 matrixMul 示例，理解 kernel 启动配置和内存拷贝。
阶段二（3-6 周）：精读《Programming Massively Parallel Processors》核心章节，配合 Oak Ridge CUDA Training Series 的讲座和实验，掌握 occupancy 计算、共享内存优化和同步机制。
阶段三（持续）：选择《Programming in Parallel with CUDA》中的 2-3 个科学计算案例完整实现，使用 Nsight Systems 和 Nsight Compute 进行性能剖析，参考《CUDA C++ Optimization》进行针对性调优。
并行任务：始终将 NVIDIA 官方 CUDA C++ Programming Guide（当前 v13.x）作为枕边参考，因为 CUDA API 演进迅速，书籍内容可能滞后。
资料来源
- GitHub: alternbits/awesome-cuda-books — CUDA 编程书籍精选列表
- NVIDIA CUDA Toolkit Documentation — 官方文档与示例代码
- Oak Ridge Leadership Computing Facility — CUDA Training Series
内容声明：本文无广告投放、无付费植入。
如有事实性问题，欢迎发送勘误至 i@hotdrydog.com。