在边缘计算场景下，将大语言模型部署到资源受限的设备集群已成为工程热点。Qwen3 30B A3B 作为一款激活参数仅 3B 的 MoE 模型，其轻量化特性使其成为树莓派等边缘设备的理想候选。本文聚焦于在 4 节点树莓派 5 集群上部署该模型，并通过工程优化达成 13 token/s 推理速度的实践路径。我们不讨论模型理论，而是提供一份可直接落地的部署清单与调优参数，确保你在最小化搜索成本后即可动手实施。
首要任务是硬件选型与基础环境搭建。树莓派 5 虽性能提升显著，但单节点仍不足以承载 30B 模型。distributed-llama 项目（由开发者 b4rtaz 维护）为此类场景提供了完美的解决方案 —— 它通过 Tensor 并行将模型切片分发至多个节点，并利用高速以太网同步中间状态。要实现 13 token/s 的目标，你必须严格遵循以下硬件配置：每个节点需配备树莓派 5（4GB 或 8GB RAM）、官方 70W USB-C 电源、Class 10 及以上 UHS-I microSD 卡（建议 128GB），以及千兆以太网交换机。切勿使用 Wi-Fi 或百兆交换机，网络带宽是分布式推理的瓶颈。操作系统统一刷写 64 位 Raspberry Pi OS，确保所有节点内核版本一致。项目要求 Python 3 和 C++ 编译器，可通过sudo apt install python3 g++一键安装。完成基础环境后，使用git clone https://github.com/b4rtaz/distributed-llama获取最新代码库，并进入项目目录执行make编译核心组件。此步骤约需 10 分钟，期间请确保网络通畅以下载依赖项。
模型准备与量化选择是性能达成的核心。Qwen3 30B A3B 官方提供多种量化版本，但 distributed-llama 目前仅支持 q40 量化（配合 q80 buffer-float-type）。你必须下载 q40 版本模型，否则无法启动。执行python launch.py qwen3_30b_a3b_q40可自动下载模型（约 17GB）并转换为项目专用格式。若手动转换，需参考项目文档中的 Hugging Face 模型转换指南，确保输出文件为.m模型文件和.t分词器文件。此处的关键参数是--buffer-float-type q80，它决定了节点间同步数据的精度 ——q80 在精度与带宽间取得了最佳平衡，若使用 f32 将导致网络拥塞，速度骤降。模型文件仅需放置于 Root 节点（如 10.0.0.1），Worker 节点（10.0.0.2-4）无需存储模型，这大幅降低了存储压力。启动前，请在 Root 节点执行free -h确认可用内存大于 4GB，Worker 节点大于 3GB，否则需通过--max-seq-len 2048降低序列长度以减少内存占用。
网络配置与并行策略决定了最终吞吐量。distributed-llama 架构要求 1 个 Root 节点和 2^n-1 个 Worker 节点，因此 4 节点集群是理想配置（Root + 3 Workers）。在dllama命令中，通过--workers参数指定 Worker 地址，例如--workers "10.0.0.2:9999 10.0.0.3:9999 10.0.0.4:9999"。每个 Worker 需预先启动：在 10.0.0.2-4 上执行./dllama worker --port 9999 --nthreads 4，其中--nthreads 4是关键 —— 树莓派 5 的 Cortex-A76 核心为 4 核，设置线程数等于核心数可最大化 CPU 利用率。Root 节点启动命令为./dllama chat --model dllama_model_qwen3_30b_a3b_q40.m --tokenizer dllama_tokenizer_qwen3.t --buffer-float-type q80 --workers "10.0.0.2:9999 10.0.0.3:9999 10.0.0.4:9999" --nthreads 4 --max-seq-len 4096。若追求极致速度，可将--max-seq-len降至 2048，但这会牺牲长文本能力。实测表明，当网络延迟低于 1ms 且无丢包时，4 节点集群在 q40 量化下可稳定输出 12-15 token/s，13 token/s 是可达成的中间值。若速度不达标，优先检查交换机是否为千兆、网线是否为 Cat5e 以上，并在 Root 节点运行ping 10.0.0.2 -c 100确认平均延迟。
最后是监控与故障排除清单。部署后，使用./dllama inference进行基准测试，观察输出的 token/s 数值。若低于 10 token/s，按优先级排查：1) 网络 —— 用iperf3测试节点间带宽，应持续大于 800Mbps；2) CPU—— 用htop确认所有核心利用率接近 100%，若未满载则增加--nthreads；3) 内存 —— 若出现 OOM，降低--max-seq-len或升级至 8GB 树莓派。项目已知限制是仅支持 2^n 节点，且最大节点数受限于模型 KV 头数（Qwen3 30B 支持至多 32 节点，但 4 节点已足够）。风险在于树莓派散热 —— 持续高负载可能导致降频，建议加装散热片或风扇。回滚策略简单：停止所有dllama进程，删除模型文件，重新下载。通过上述步骤，你不仅能达成 13 token/s 的目标，还能获得一个可扩展的边缘 AI 推理平台。未来可尝试接入更多节点或更换更高量化精度，但当前配置已在性能与成本间取得最优平衡。