引言：系统架构视角下的 LLM 演进图谱
2025 年标志着大型语言模型从单纯的能力扩展转向系统级架构深度优化的关键转折点。与往年侧重于模型规模扩张不同，2025 年的技术演进呈现出明显的系统化特征：训练范式从 RLHF 向 RLVR+GRPO 迁移，架构设计从统一 Transformer 向混合效率优化演进，部署模式从云端集中式向边缘分布式扩展，硬件协同从通用加速向专用定制深化。这一系列变化共同构成了 LLM 系统架构的完整演进图谱，反映了产业从 "能用" 到 "好用" 再到 "高效用" 的成熟化进程。
训练范式变革：RLVR+GRPO 开启推理模型时代
2025 年最显著的系统级变化是训练范式的根本性转变。Sebastian Raschka 在其年度回顾中指出："2025 年 LLM 开发基本上被使用 RLVR 和 GRPO 的推理模型所主导。" 这一判断准确捕捉了技术演进的核心脉络。
可验证奖励的强化学习（RLVR） 代表了训练范式的重大突破。传统 RLHF 依赖于昂贵的人工标注或合成偏好数据，而 RLVR 通过确定性方法为数学和代码等可验证领域分配正确性标签，大幅降低了训练成本。DeepSeek R1 的实践表明，在 DeepSeek V3 基础上训练 R1 模型仅需约 29.4 万美元，这一成本效益比彻底改变了行业对推理模型训练的经济性认知。
GRPO 算法的工程化改进 成为系统稳定性的关键。从 Olmo 3 和 DeepSeek V3.2 的技术报告中可以看到，零梯度信号过滤、主动采样、token 级损失、无 KL 损失等一系列工程优化显著提升了训练稳定性。这些改进使得 "坏更新不再破坏训练运行，不再需要定期重新加载检查点"，在实际工程部署中具有重要价值。
训练范式的系统化演进还体现在训练阶段的重构。传统的 "预训练 - 后训练" 两阶段模式演变为 "预训练 - 中训练 - 后训练" 三阶段架构。中训练阶段专注于领域特定数据、长上下文训练和合成数据优化，形成了更加精细化的能力分层构建体系。
架构设计演进：MoE 标准化与注意力机制效率优化
在模型架构层面，2025 年见证了从统一设计向分层优化的系统性转变。
混合专家（MoE）架构的标准化 成为开源 LLM 的共识选择。主流开源模型几乎全部采用了 MoE 层设计，通过稀疏门控机制在保持推理成本可控的同时实现数十亿参数容量。这种设计在系统层面实现了计算效率与模型能力的有效平衡，但同时也引入了新的工程挑战 —— 专家路由的内存带宽需求和动态负载均衡。
注意力机制的效率优化 呈现出多样化趋势。分组查询注意力（GQA）、滑动窗口注意力（SWA）和多头潜在注意力（MLA）成为标准配置，各自针对不同的应用场景进行优化。更激进的是，线性复杂度架构 开始进入主流视野：Qwen3-Next 的 Gated DeltaNets 和 NVIDIA Nemotron 3 的 Mamba-2 层代表了从二次方复杂度向线性复杂度的实质性突破，为超长序列处理提供了系统级解决方案。
架构混合设计 成为新的工程范式。单一架构的局限性促使开发者采用混合策略，例如在 Transformer 主干中嵌入线性注意力层，或在 MoE 框架中集成不同计算复杂度的专家模块。这种系统级架构决策需要在训练效率、推理延迟、内存占用和模型性能之间进行精细权衡。
硬件协同设计：从边缘部署到 MoE 专用加速
2025 年硬件协同设计的深度和广度都达到了新的高度，系统级优化成为性能突破的关键路径。
边缘设备算法 - 硬件协同设计 取得了实质性进展。CLONE 系统展示了在 28nm 可扩展硬件加速器上的深度协同优化，实现了高达 11.92 倍的推理加速和 7.36 倍的能耗节省。这种协同设计不仅关注计算效率，还系统性地解决了存储限制、功耗约束和延迟要求的综合平衡问题。
MoE 服务的系统 - 硬件协同 通过 Stratum 架构实现了突破。该方案结合了单片 3D 堆叠 DRAM、近内存处理和 GPU 加速，专门针对 MoE 层的大数据量挑战进行优化。逻辑芯片与内存芯片通过混合键合连接，内存堆栈与 GPU 通过硅中介层互连，形成了高度集成的异构计算系统。
专用硬件接口标准化 加速了部署生态的成熟。模型上下文协议（MCP）加入 Linux 基金会并成为代理式 LLM 系统的工具和数据访问标准，反映了硬件接口从碎片化向标准化演进的重要趋势。这种标准化降低了系统集成复杂度，提高了跨平台部署的一致性。
部署架构变迁：推理时扩展与工具使用集成
部署架构的系统化演进体现在从单一服务模式向多层次弹性架构的转变。
推理时扩展（Inference-Time Scaling） 成为重要的性能调节杠杆。DeepSeekMath-V2 的实践表明，通过自洽性（self-consistency）和自优化（self-refinement）的组合，可以在不改变模型权重的情况下显著提升复杂任务性能。这种系统级策略允许根据任务重要性动态调整计算资源分配，在延迟、成本和准确性之间实现最优平衡。
工具使用集成 从实验特性转变为生产级功能。OpenAI 的 gpt-oss 模型专门为工具使用设计，标志着工具集成从外部插件模式向内部原生支持的转变。系统架构需要解决工具调用的安全性、权限管理和执行监控等复杂问题，JIN 在部署指南中指出："给 LLM 无限制的工具使用访问权限可能带来安全风险或对系统造成其他破坏。"
边缘计算部署 架构日趋成熟。从个人电脑、智能手机到机器人和物联网设备，LLM 的边缘部署形成了分层架构：轻量级模型在终端设备运行，中等规模模型在边缘服务器处理，大型模型在云端执行。这种分层架构需要解决模型同步、数据一致性和故障转移等系统级挑战。
多模态集成模式：统一框架与跨模态推理
多模态系统架构从模块化流水线向统一框架演进，形成了更加集成的设计范式。
大型多模态推理模型（LMRMs） 成为研究热点。这些模型将文本、图像、音频和视频等多种模态集成到统一框架中，实现跨模态的深度推理。系统架构需要处理不同模态数据的对齐、融合和协同推理，这对内存管理和计算调度提出了新的要求。
语言中心化设计 成为主流架构选择。与早期的感知驱动流水线不同，现代多模态系统采用以语言模型为核心的架构，其他模态作为补充输入。这种设计简化了系统复杂性，提高了跨模态理解的一致性，但需要在预训练阶段进行大规模跨模态对齐。
实时多模态处理 对系统架构提出了实时性要求。视频理解和音频 - 文本同步等应用需要低延迟的多模态处理流水线，这推动了专用硬件加速和流水线优化的系统级创新。
挑战与展望：系统级优化的未来路径
尽管 2025 年取得了显著进展，系统架构仍面临多重挑战，这些挑战也指明了未来的优化方向。
基准测试过度优化（Benchmaxxing） 成为系统评估的难题。Sebastian Raschka 指出："基准数字不再是 LLM 性能的可信指标。" 这反映了系统优化与真实性能之间的脱节，需要开发更加贴近实际应用的评估框架。
工具使用的安全治理 需要系统级解决方案。随着工具集成深度增加，权限管理、执行监控和异常检测成为必须的系统功能。未来的架构需要内置安全层，实现细粒度的访问控制和行为审计。
持续学习与灾难性遗忘 的矛盾尚未解决。在系统层面实现知识更新而不丢失原有能力，需要创新的架构设计和训练策略。这可能涉及模块化知识存储、选择性参数更新和记忆巩固机制等系统级特性。
能效优化的系统级策略 将成为关键竞争维度。从芯片级能效优化到算法级计算简化，再到系统级资源调度，能效优化需要贯穿整个技术栈。边缘设备的普及将进一步加强这一趋势的重要性。
结论：系统思维主导的 LLM 新时代
2025 年的 LLM 技术演进清晰地表明，单纯依靠模型规模扩张的时代已经过去，系统级架构优化成为新的竞争焦点。从训练范式的 RLVR 革命到架构设计的效率优先，从硬件协同的深度集成到部署模式的弹性扩展，每一个维度的进步都体现了系统思维的重要性。
未来的 LLM 发展将更加注重整体系统效能而非单一指标突破。这要求工程师和研究者具备跨层优化的系统视角，在算法创新、硬件特性、部署约束和用户体验之间找到最优平衡点。正如 Sebastian Raschka 总结的："2025 年的元教训是，LLM 的进步不是来自单一突破，而是通过多个独立杠杆在多个方面做出的改进。"
系统架构的成熟化标志着 LLM 技术从实验室走向产业化的关键一步。随着标准化程度的提高和最佳实践的积累，我们有理由相信，更加高效、可靠和易用的 LLM 系统将在 2026 年继续推动人工智能技术的实际应用和价值创造。
资料来源：
- Sebastian Raschka. "The State Of LLMs 2025: Progress, Progress, and Predictions" (2025-12-30)
- JIN. "The LLM Deployment Landscape in October 2025: A Complete Ecosystem Guide" (2025-10-31)
- CLONE: Customizing LLMs for Efficient Latency-Aware Inference at the Edge (USENIX ATC 2025)
- Stratum: System-Hardware Co-Design with Tiered Monolithic 3D-Stackable DRAM for Efficient MoE Serving (2025)