分层扩散模型（Layered Diffusion）结合高斯溅射（Gaussian Splatting）技术，从单一文本提示生成具有多视图一致性的沉浸式3D世界，支持动态场景编辑与交互渲染。该方法的核心在于将3D生成分解为多层扩散过程，每层逐步构建几何与纹理，确保全局一致性，避免传统扩散模型在3D空间的视图不一致问题。
传统文本到3D生成常依赖NeRF或隐式表示，但渲染慢且编辑难。高斯溅射作为显式表示，以数百万3D高斯核（位置、协方差、不透明度、颜色）高效渲染，支持实时交互。分层扩散则借鉴2D图像分层合成思想：首先生成粗糙前景层（前景物体），再叠加中景、背景层，每层使用条件扩散模型（如Stable Diffusion微调版），以文本+前层掩码为条件。层间通过深度缓冲融合，确保遮挡关系正确。例如，4层配置：层1（前景，深度<0.3）、层2（中景，0.3-0.6）、层3（远景，0.6-0.9）、层4（天空，>0.9）。
证据显示，该范式在Objaverse-XL数据集上，PSNR达32.5dB，LPIPS降至0.08，优于单层DiffSplat（PSNR 30.2）。Hacker News讨论中，用户验证其在稀疏视图下泛化好，支持Gaussian Splatting的动态编辑，如拖拽物体重定位仅需0.1s重渲染。
工程落地参数如下：
训练阶段（DiT或U-Net骨干，~100k Objaverse样本）：
- 层数：4-8（过多增浮点，过少失细节）。
- 扩散步数：50（T=1000，噪声スケジュールcosine）。
- 学习率：1e-4（AdamW，warmup 10%）。
- 批次：16（A100单卡，梯度累积4）。
- 损失：L2渲染+深度一致（λ_depth=0.1）+层间掩码KL散度（λ_kl=0.05）。
- 条件：CLIP文本嵌入+前层深度图。
- 收敛：~20 epochs，监控多视图一致性（TSED<0.15）。
推理阶段（文本提示生成）：
- 引导尺度：7.5（文本对齐）。
- 采样步：20-50（DDIM或DPM++）。
- 高斯初始化：均匀球体（半径1.0，10k核起步）。
- 输出：每层
50k高斯，总300k（RTX 4090下渲染>200FPS）。
编辑与交互（Gaussian Splatting优化）：
- 稠密化阈值：梯度>0.0001时分裂（每100 iter）。
- 剪枝阈值：不透明度<0.005或尺度<0.001剔除。
- 交互参数：拖拽刚性变换（平移/旋转），重优化10 iter（位置+协方差）。
- 动态场景：每帧添加速度场（v_max=0.05），物理积分Euler（dt=0.01）。
- 回滚策略：编辑前快照高斯状态，A/B测试PSNR>28。
落地清单：
- 数据准备：Objaverse或自定义扫描，过滤玩具/室内（>80%成功率）。
- 环境：PyTorch 2.1，gsplat库，diffusers。
- 监控：WandB日志PSNR/LPIPS/FID（目标FID<15），视图一致TSED<0.1。
- 风险缓解：浮点 artifact（opacity clip [0,1]）；过拟合（dropout 0.1）；内存爆（分层并行渲染）。
- 测试：生成“森林小屋”，多视图旋转无闪烁，支持添加“飞鸟”交互。
实际部署中，单A100训练24h，推理2s/场景。相比Free360，该方法文本条件更强，支持无限世界扩展（层外推）。未来可集成物理模拟，提升交互真实性。
资料来源：Hacker News #42022859；DiffSplat (ICLR 2025)；Free360 (CVPR 2025相关)。