分层扩散模型（Layered Diffusion）结合高斯溅射（Gaussian Splatting）技术，从单一文本提示生成具有多视图一致性的沉浸式 3D 世界，支持动态场景编辑与交互渲染。该方法的核心在于将 3D 生成分解为多层扩散过程，每层逐步构建几何与纹理，确保全局一致性，避免传统扩散模型在 3D 空间的视图不一致问题。
传统文本到 3D 生成常依赖 NeRF 或隐式表示，但渲染慢且编辑难。高斯溅射作为显式表示，以数百万 3D 高斯核（位置、协方差、不透明度、颜色）高效渲染，支持实时交互。分层扩散则借鉴 2D 图像分层合成思想：首先生成粗糙前景层（前景物体），再叠加中景、背景层，每层使用条件扩散模型（如 Stable Diffusion 微调版），以文本 + 前层掩码为条件。层间通过深度缓冲融合，确保遮挡关系正确。例如，4 层配置：层 1（前景，深度 <0.3）、层 2（中景，0.3-0.6）、层 3（远景，0.6-0.9）、层 4（天空，>0.9）。
证据显示，该范式在 Objaverse-XL 数据集上，PSNR 达 32.5dB，LPIPS 降至 0.08，优于单层 DiffSplat（PSNR 30.2）。Hacker News 讨论中，用户验证其在稀疏视图下泛化好，支持 Gaussian Splatting 的动态编辑，如拖拽物体重定位仅需 0.1s 重渲染。
工程落地参数如下：
训练阶段（DiT 或 U-Net 骨干，~100k Objaverse 样本）：
- 层数：4-8（过多增浮点，过少失细节）。
- 扩散步数：50（T=1000，噪声スケジュール cosine）。
- 学习率：1e-4（AdamW，warmup 10%）。
- 批次：16（A100 单卡，梯度累积 4）。
- 损失：L2 渲染 + 深度一致（λ_depth=0.1）+ 层间掩码 KL 散度（λ_kl=0.05）。
- 条件：CLIP 文本嵌入 + 前层深度图。
- 收敛：~20 epochs，监控多视图一致性（TSED<0.15）。
推理阶段（文本提示生成）：
- 引导尺度：7.5（文本对齐）。
- 采样步：20-50（DDIM 或 DPM++）。
- 高斯初始化：均匀球体（半径 1.0，10k 核起步）。
- 输出：每层
50k 高斯，总300k（RTX 4090 下渲染 > 200FPS）。
编辑与交互（Gaussian Splatting 优化）：
- 稠密化阈值：梯度 > 0.0001 时分裂（每 100 iter）。
- 剪枝阈值：不透明度 < 0.005 或尺度 < 0.001 剔除。
- 交互参数：拖拽刚性变换（平移 / 旋转），重优化 10 iter（位置 + 协方差）。
- 动态场景：每帧添加速度场（v_max=0.05），物理积分 Euler（dt=0.01）。
- 回滚策略：编辑前快照高斯状态，A/B 测试 PSNR>28。
落地清单：
- 数据准备：Objaverse 或自定义扫描，过滤玩具 / 室内（>80% 成功率）。
- 环境：PyTorch 2.1，gsplat 库，diffusers。
- 监控：WandB 日志 PSNR/LPIPS/FID（目标 FID<15），视图一致 TSED<0.1。
- 风险缓解：浮点 artifact（opacity clip [0,1]）；过拟合（dropout 0.1）；内存爆（分层并行渲染）。
- 测试：生成 “森林小屋”，多视图旋转无闪烁，支持添加 “飞鸟” 交互。
实际部署中，单 A100 训练 24h，推理 2s / 场景。相比 Free360，该方法文本条件更强，支持无限世界扩展（层外推）。未来可集成物理模拟，提升交互真实性。
资料来源：Hacker News #42022859；DiffSplat (ICLR 2025)；Free360 (CVPR 2025 相关)。