在边缘计算场景下，将大语言模型部署到资源受限的设备集群已成为工程热点。Qwen3 30B A3B作为一款激活参数仅3B的MoE模型，其轻量化特性使其成为树莓派等边缘设备的理想候选。本文聚焦于在4节点树莓派5集群上部署该模型，并通过工程优化达成13 token/s推理速度的实践路径。我们不讨论模型理论，而是提供一份可直接落地的部署清单与调优参数，确保你在最小化搜索成本后即可动手实施。
首要任务是硬件选型与基础环境搭建。树莓派5虽性能提升显著，但单节点仍不足以承载30B模型。distributed-llama项目（由开发者b4rtaz维护）为此类场景提供了完美的解决方案——它通过Tensor并行将模型切片分发至多个节点，并利用高速以太网同步中间状态。要实现13 token/s的目标，你必须严格遵循以下硬件配置：每个节点需配备树莓派5（4GB或8GB RAM）、官方70W USB-C电源、Class 10及以上UHS-I microSD卡（建议128GB），以及千兆以太网交换机。切勿使用Wi-Fi或百兆交换机，网络带宽是分布式推理的瓶颈。操作系统统一刷写64位Raspberry Pi OS，确保所有节点内核版本一致。项目要求Python 3和C++编译器，可通过sudo apt install python3 g++一键安装。完成基础环境后，使用git clone https://github.com/b4rtaz/distributed-llama获取最新代码库，并进入项目目录执行make编译核心组件。此步骤约需10分钟，期间请确保网络通畅以下载依赖项。
模型准备与量化选择是性能达成的核心。Qwen3 30B A3B官方提供多种量化版本，但distributed-llama目前仅支持q40量化（配合q80 buffer-float-type）。你必须下载q40版本模型，否则无法启动。执行python launch.py qwen3_30b_a3b_q40可自动下载模型（约17GB）并转换为项目专用格式。若手动转换，需参考项目文档中的Hugging Face模型转换指南，确保输出文件为.m模型文件和.t分词器文件。此处的关键参数是--buffer-float-type q80，它决定了节点间同步数据的精度——q80在精度与带宽间取得了最佳平衡，若使用f32将导致网络拥塞，速度骤降。模型文件仅需放置于Root节点（如10.0.0.1），Worker节点（10.0.0.2-4）无需存储模型，这大幅降低了存储压力。启动前，请在Root节点执行free -h确认可用内存大于4GB，Worker节点大于3GB，否则需通过--max-seq-len 2048降低序列长度以减少内存占用。
网络配置与并行策略决定了最终吞吐量。distributed-llama架构要求1个Root节点和2^n-1个Worker节点，因此4节点集群是理想配置（Root + 3 Workers）。在dllama命令中，通过--workers参数指定Worker地址，例如--workers "10.0.0.2:9999 10.0.0.3:9999 10.0.0.4:9999"。每个Worker需预先启动：在10.0.0.2-4上执行./dllama worker --port 9999 --nthreads 4，其中--nthreads 4是关键——树莓派5的Cortex-A76核心为4核，设置线程数等于核心数可最大化CPU利用率。Root节点启动命令为./dllama chat --model dllama_model_qwen3_30b_a3b_q40.m --tokenizer dllama_tokenizer_qwen3.t --buffer-float-type q80 --workers "10.0.0.2:9999 10.0.0.3:9999 10.0.0.4:9999" --nthreads 4 --max-seq-len 4096。若追求极致速度，可将--max-seq-len降至2048，但这会牺牲长文本能力。实测表明，当网络延迟低于1ms且无丢包时，4节点集群在q40量化下可稳定输出12-15 token/s，13 token/s是可达成的中间值。若速度不达标，优先检查交换机是否为千兆、网线是否为Cat5e以上，并在Root节点运行ping 10.0.0.2 -c 100确认平均延迟。
最后是监控与故障排除清单。部署后，使用./dllama inference进行基准测试，观察输出的token/s数值。若低于10 token/s，按优先级排查：1) 网络——用iperf3测试节点间带宽，应持续大于800Mbps；2) CPU——用htop确认所有核心利用率接近100%，若未满载则增加--nthreads；3) 内存——若出现OOM，降低--max-seq-len或升级至8GB树莓派。项目已知限制是仅支持2^n节点，且最大节点数受限于模型KV头数（Qwen3 30B支持至多32节点，但4节点已足够）。风险在于树莓派散热——持续高负载可能导致降频，建议加装散热片或风扇。回滚策略简单：停止所有dllama进程，删除模型文件，重新下载。通过上述步骤，你不仅能达成13 token/s的目标，还能获得一个可扩展的边缘AI推理平台。未来可尝试接入更多节点或更换更高量化精度，但当前配置已在性能与成本间取得最优平衡。