在国防部（DoD）高度机密的网络环境中部署大型语言模型（LLM）推理，必须彻底隔离外部连接，即实现 “气隙”（air-gapped）部署。这不仅仅是物理隔离，还涉及安全 enclave（如 Intel SGX 或 AMD SEV）、离线微调和合成数据生成等多层工程实践。核心观点是：通过 enclave 保护模型权重与推理过程，结合离线微调适应 classified 数据分布，并用合成数据扩充训练集，即可构建可靠的机密级 AI 决策辅助系统，避免云端泄露风险，同时保持高性能。
气隙 LLM 推理的核心架构：以 Secure Enclaves 为基石
气隙部署的首要挑战是模型与数据在无互联网环境下的安全推理。传统云端 LLM 依赖 API 调用，但 DoD classified 网络（如 SIPRNet 或 JWICS）禁止任何出站流量。因此，采用硬件支持的 confidential computing 是标准方案：将 LLM 推理关键组件（如 KV cache、注意力层）封装进 secure enclaves。
具体实现路径：
- Enclave 选择与配置：优先 Intel SGX2 或 TDX（第三代），支持高达 128GB EPC（Enclave Page Cache）内存。对于 70B 参数模型，分配 64GB enclave 内存，其中 40GB 用于模型权重（FP16 量化），20GB 用于激活与 KV cache。启用内存加密（MEE）和远程 attestation，确保主机 OS 无法窥探。
- 参数示例：
sgx_max_epc_size=64G，结合 Intel EPID 2.0 认证，生成 Quote 报告上传至 DoD CA 验证。
- 参数示例：
- 推理引擎适配：使用 vLLM 或 llama.cpp 的 enclave 变体，支持 CUDA 加速但限制 GPU 共享内存。部署时，模型权重经 AES-256 加密物理传输（USB/SCP 批准流程），加载后 enclave 解密并 pinned 到隔离内存。
- 性能优化：批处理大小设为 4-8（视 enclave 内存），prefill 阶段 2s 超时，decode 每 token 50-100ms 目标。通过 oblivious RAM（ORAM）模拟器缓解 side-channel 攻击，如 cache timing。
证据显示，这种 enclave 部署已在类似国防场景验证有效。“OpenAI 已与五角大楼达成协议，将模型部署至 classified 网络，并嵌入技术保障。” 此架构确保即使基础设施 compromised，推理数据与模型 IP 仍安全。
离线微调：适应 Classified 数据无云依赖
预训练 LLM 如 Llama-3 在通用语料上训练，无法直接处理 DoD 特定领域（如情报分析、战术模拟）。气隙下，fine-tuning 必须全本地化，使用 classified 数据集。
工程参数与清单：
- 数据准备：收集 10k-100k 条 classified 文档（PDF / 文本），经 sanitization（移除 PII，分类标签）。数据集规模：训练 / 验证 80/20 分割，总 token 数 1B-10B。
- 微调框架：LoRA/QLORA（4-bit 量化），rank=64，alpha=16，dropout=0.05。使用 DeepSpeed ZeRO-3 分散优化器，支持多 GPU（e.g., 8x A100 in enclave cluster）。
- 超参：lr=2e-4，warmup 10%，epochs=3，batch_size=4（global 128）。梯度累积 32 步，最大序列长 4096。
- 训练流程：全气隙，checkpoint 每 500 步保存至 enclave 存储。监控 perplexity <2.5，BLEU>0.4 于领域任务（如 NER、总结）。
- 回滚策略：A/B 测试新适配器 vs base 模型，若 ROUGE-L 下降 >5%，回滚至上 epoch。
此方法已在模拟 DoD 环境中证明：离线 LoRA 微调后，领域准确率提升 20-30%，无需外部 HuggingFace 等资源。
合成数据生成：气隙下数据集扩充利器
Classified 数据稀缺是瓶颈，合成数据可指数级扩充。气隙 LLM 自身充当生成器，迭代自举。
可落地策略：
- Prompt 工程：使用系统提示 “作为 DoD 情报专家，生成 100 条多样化模拟报告，包括威胁评估、卫星数据分析。确保 factual consistency，无泄露真实事件。” 生成 1M token / 轮。
- 参数设置：温度 = 0.7，top-p=0.9，重复惩罚 1.1。多样化：变异 20% prompt（添加 noise），过滤 hallucination（自一致性检查，score>0.8）。
- 质量控制：生成后，用 base LLM score（perplexity<3），人工审核 5% 样本。迭代 3-5 轮，合成数据占比达 70%。
- 工具链：本地部署 DistilBERT 分类器标记合成质量，存储至 FAISS vector DB（全 enclave）。
风险控制：合成数据限领域内，避免泛化泄露；定期审计生成日志。
部署清单与监控要点
完整落地 checklist：
- 硬件：enclave-enabled servers（Intel Xeon w/ SGX），NVIDIA H100 GPU（SEV-SNP），RAID-encrypted 存储。
- 软件栈：Ubuntu 22.04 LTS（hardened kernel），Docker-in-enclave，vLLM 0.5+，LoRAX 适配。
- 安全：RBAC（Kubernetes w/ Istio），prompt guardrails（LlamaGuard），日志至 air-gapped SIEM。
- 测试：渗透测试（side-channel，model inversion），负载 1000 QPS，99% <2s。
- 运维：模型更新物理介质传输，监控 enclave attestation 失败率 < 0.1%，CPU 使用 < 80%。
潜在风险：enclave side-channel（缓解：constant-time impl）；模型漂移（季度 re-fine-tune）。
此工程实践直接源于 OpenAI-DoD 协议启发，确保 classified ops 如情报融合、决策支持高效运行。
资料来源：