PaddlePaddle 作为工业级深度学习框架，其分布式训练模块 FleetX 支持参数服务器（PS）、环形 AllReduce（数据并行）和流水线并行三种核心策略，适用于从稀疏推荐模型到稠密大语言模型的多节点 GPU 场景。通过 DistributedStrategy 配置单一入口，即可实现高效扩展，避免手动通信编程。
参数服务器模式适合大规模稀疏参数模型，如 CTR / 推荐系统。Trainer 计算梯度，PServer 聚合更新参数，支持同步 / 异步更新。在多节点下，Trainer 进程绑定 GPU（CUDA_VISIBLE_DEVICES=0），PServer 用 CPU 避免额外拷贝。环境变量 PADDLE_PSERVER_ENDPOINTS="ip1:6170,ip2:6170" 定义 PS 地址，PADDLE_TRAINERS_NUM = 节点数 * GPU 数。启动用 paddle.distributed.launch_ps --worker_num 训练器数 --server_num PS 数。异步模式 strategy.a_sync=True 加速收敛，但需监控参数一致性。实际参数：端口 6170（默认），trainer_id 从 0 递增。证据显示，在 100+ 节点稀疏任务中，PS 吞吐提升 2x 以上。
环形 AllReduce（NCCL2 数据并行）适用于稠密模型如 Vision/NLP，支持多机多卡同步梯度聚合，无需 PS 进程。每进程一 GPU，通过 NCCL collective 通信。DistributedStrategy 中无需额外设置，默认 NCCL 后端。启动命令：paddle.distributed.launch --nnodes 4 --nproc_per_node 8 --node_ip 本机 IP --cluster_node_ips "ip1,ip2,ip3,ip4" train.py，总 rank=32。优化参数：NCCL_IB_DISABLE=0（InfiniBand 优先）、NCCL_SOCKET_IFNAME=eth0（指定网卡）、FLAGS_fuse_parameter_groups_size=100MB（融合梯度组）。在 A100 集群中，128 GPU ring-allreduce 线性加速达 95%，带宽利用率 >90%。
流水线并行针对亿级参数模型，模型层切分到多 GPU，stage 间流水激活 / 梯度传输。strategy.pipeline=True，结合数据并行跨节点。用户用 device_guard 划分 stage，如 with paddle.device.CUDAPlace (rank % local_gpus): layer。pipeline_configs={"micro_batch_size": global_batch/acc_steps}，acc_steps=4-16 平衡 bubble 时间。pp_allreduce_in_optimize=True 将 allreduce 移至优化器，提升重叠。落地清单：stage_num = 每节点 GPU，virtual_pipeline_stages=2（子流水线），accumulate_steps=8。测试显示，GPT-3 规模模型 512 GPU 下 pipeline 效率 70%+。
多节点通用启动参数：
- --nnodes 节点数，--nproc_per_node 每节点 GPU 数。
- --node_ip 本机 IP，--cluster_node_ips 所有节点 IP 逗号分隔。
- --host 本节点 master IP（PS 模式）。
- env NCCL_DEBUG=INFO 调试通信，NCCL_P2P_DISABLE=0 点对点启用。
- FLAGS_selected_gpus=0,1,2,3 限制可见 GPU。
监控与优化清单：
- GPU 利用率 >85%，nvidia-smi -l 1。
- 网络带宽：nccl-tests all_reduce perf，目标 >90% InfiniBand 200Gbps。
- Loss 同步：rank0 loss 与全局一致，std (losses)<1e-4。
- 内存峰值：torch.utils.bottleneck 或 paddle.profiler。
- 通信时间占比 <20%，profiler.export_chrome_tracing。 参数调优：batch_size=1024*world_size，lr=1e-3 * sqrt (world_size)，warmup_steps=1000。
风险与回滚：
- 网络抖动：PS 异步 + retry=3，回滚 checkpoint 恢复。
- OOM：gradient_merge k_steps=2，recompute 检查点 ["encoder", "decoder"]。
- 挂起：timeout=1800s，Kubernetes pod restartPolicy=Always。
资料来源：PaddlePaddle GitHub 仓库、官方文档 https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/guides/07_distributed/index_cn.html、DistributedStrategy API。