免训练单图像扩散：基于多尺度Patch闭式去噪的实时生成方案

单图像生成任务长期以来面临一个两难困境：要么依赖耗时数小时的模型微调，要么接受生成质量的大幅下降。多伦多大学与斯坦福研究者提出的免训练方案，通过重新理解 "训练" 的本质，将单张参考图像转化为可直接采样的概率分布，在零额外训练成本的前提下实现了与训练式方法相当甚至更优的生成效果。

核心洞察：Patch 分布即模型

传统单图像扩散模型的训练过程，本质上是在学习参考图像内部的多尺度 Patch 统计特性。研究者发现，既然目标仅是匹配 Patch 分布，完全可以绕过神经网络逼近，直接从有限 Patch 数据集中解析计算 Score 函数。这种思路将扩散模型的训练问题转化为一个经典的去噪问题 —— 给定加噪后的 Patch，求解其原始分布的最优估计。

具体实现上，方法首先将参考图像分解为多个尺度的 Patch 集合。由于 Patch 维度相对较低且数据集规模可控，可以使用闭式最优去噪器（Closed-Form Denoiser）直接计算每个噪声水平下的 Score 估计。这种去噪器在数学上等价于对 Patch 分布进行高斯核密度估计后的贝叶斯推断，无需任何梯度下降或参数优化。

技术实现路径

Patch 提取与多尺度建模

从单张参考图像中提取重叠 Patch，覆盖从细粒度纹理到粗粒度结构的多个尺度。每个 Patch 被视为来自目标分布的独立样本，多尺度设计确保生成结果在局部细节与全局结构之间保持协调。

闭式去噪器集成

将 Patch 去噪器嵌入标准扩散采样流程。在每次去噪步骤中，当前噪声图像被分解为 Patch，每个 Patch 独立去噪后重组为完整图像。这种 "分而治之" 的策略规避了高维图像空间直接建模的复杂性。

潜空间兼容与加速

方法天然兼容潜空间扩散框架，可在压缩后的潜表示上执行 Patch 操作。结合额外的加速技术（如步数缩减、并行 Patch 处理），实现百万像素图像生成仅需约 1 秒，十亿像素级别生成可在数分钟内完成。

工程落地要点

参数配置建议

• Patch 尺寸：建议从 16×16 到 64×64 设置 3-4 个尺度，覆盖纹理到结构层级
• 重叠率：50%-75% 重叠可平衡计算成本与分布估计精度
• 扩散步数：潜空间模式下 20-50 步即可达到满意效果

应用场景适配

该方法特别适合以下场景：

• 纹理扩展：将小尺寸纹理无缝扩展为大尺寸贴图
• 风格迁移：结合文本引导实现单图风格迁移
• 图像重定向：智能调整图像宽高比同时保持内容完整
• 对称化生成：基于单图生成对称图案

质量与效率权衡

虽然免训练特性大幅降低了时间成本，但 Patch-based 方法在捕捉复杂全局结构时可能存在局限。建议对包含明确语义结构的图像（如建筑、规则纹理）优先使用，对高度不规则的自然场景可适当增加 Patch 采样密度。

与现有方案对比

相比需要数小时微调的 DreamBooth、Textual Inversion 等方法，免训练方案将单图定制生成的门槛降至接近实时。与基于优化的零样本方法（如 DDIM 反演 + 注意力注入）相比，Patch 闭式去噪提供了更稳定的生成质量，避免了优化过程中的局部极小值问题。

该方法在 CVPR 2026 的评审中获得认可，其核心贡献在于证明了单图像扩散无需神经网络训练即可实现。这一发现不仅降低了计算门槛，也为理解扩散模型的本质提供了新的视角 —— 当数据分布足够简单（有限 Patch 集），解析方法可以替代昂贵的函数逼近。

资料来源

• Qiu H, Kutulakos K N, Lindell D B. Efficient and Training-Free Single-Image Diffusion Models. CVPR 2026. arXiv:2606.04299
• 项目页面：https://haojunqiu.github.io/efficient-SID/

ai-systems