Stable Audio 3 长音频生成架构：4096×压缩与流匹配的三阶段训练

长音频生成一直是音频合成领域的核心挑战。传统扩散模型在处理分钟级音频时面临内存爆炸和计算冗余的双重困境：固定长度训练导致短音频生成仍需承担完整序列的计算成本，而简单的时序扩展又难以维持长程语义连贯性。Stable Audio 3 通过语义 - 声学自编码器（SAME）与流匹配扩散 Transformer 的协同设计，在 4096× 压缩率下实现了最长 6 分 20 秒音频的秒级生成，同时支持原生变量长度输出与局部编辑能力。

架构核心：SAME 自编码器的语义 - 声学双目标

Stable Audio 3 的生成流程建立在 SAME（Semantically-Aligned Music autoEncoder）自编码器之上，这是首个在音频领域探索高维语义结构化潜空间的表示学习框架。与常规 VAE 仅关注声学重建不同，SAME 通过 256 维潜向量同时编码声学保真度与高层语义结构，下采样率达到激进的 4096×。

自编码器采用分阶段压缩策略：首先通过 patch 嵌入将 44.1kHz 立体声音频转换为非重叠块（256 样本 / 块，实现 256× 下采样），随后利用 Transformer 重采样块（TRB）进行额外的 16× 下采样。TRB 的核心机制是嵌入交错 —— 在每个输入段后附加可学习的输出嵌入，经 Transformer 层处理后提取输出嵌入构成下采样表示。这种设计避免了传统 CNN 下采样的局部性局限，允许模型在压缩过程中捕获长程时序依赖。

SAME 的训练目标包含五个互补损失：多分辨率 STFT 谱损失（7 个 FFT 尺度，32 至 2048）、相对论 GAN 对抗损失、流匹配对齐损失（确保潜空间几何适合扩散生成）、色度与耳间电平差（ILD）语义回归损失，以及三元组对比对齐损失（拉近音频 - 文本 - 潜向量的跨模态语义）。这种多目标优化使潜空间同时具备高保真重建能力与生成可塑性，为后续扩散模型提供了理想的操作平面。

扩散 Transformer：变量长度与三重条件机制

Stable Audio 3 的生成模型采用改进的 Diffusion Transformer（DiT）架构，在标准自注意力机制上引入三项关键创新：差分注意力（Differential Attention）、记忆嵌入（Memory Embeddings）与自适应层归一化单点条件（AdaLN-Single）。

差分注意力通过计算两组独立 Q-K 对的注意力图并相减，抑制不同头之间的共同模式，使模型聚焦于独特的时序特征。记忆嵌入则在序列前端附加 64 个可学习的全局记忆向量，作为所有位置均可访问的上下文缓冲区，有效缓解长序列 Transformer 的上下文碎片化问题。

条件注入采用三重路径：扩散时间步与目标时长通过 AdaLN-Single 调制各 Transformer 块，文本提示（T5Gemma 编码）与时长嵌入经交叉注意力融合，而 inpainting 掩码则通过局部加法条件（Local-Additive Conditioning）在块内残差流中注入。这种解耦设计允许模型同时处理生成与编辑任务，无需为 inpainting 单独训练。

变量长度生成：打破固定长度的计算枷锁

传统扩散音频模型采用固定长度训练，短音频生成时仍需计算完整序列，造成严重的资源浪费。Stable Audio 3 提出原生变量长度训练机制，使推理成本与实际输出长度成正比。

训练阶段采用三项关键技术：变长 FlashAttention（自动掩码填充位置）、逐样本时间步偏移（长序列向高噪声水平偏移以补偿时序冗余）、以及静音增强（信号随机扩展 4 秒静音，训练模型自然终止而非截断）。时间步偏移基于逻辑斯蒂函数，短音频（μ=0.5）偏移轻微，长音频（μ=1.15）则大幅推向高噪声区，确保模型在各类长度上获得均衡的训练预算。

推理时根据目标时长动态分配潜序列长度：L = ⌈(d + 6)・fs/r⌉，其中 d 为用户请求时长，6 秒为静音填充缓冲，fs=44.1kHz，r=4096 为下采样率。实际内容仅占据前 Leff = ⌈d・fs/r⌉个嵌入，剩余部分为静音填充，用于防止边界伪影并提供淡出缓冲。

三阶段训练与 Ping-Pong 采样：从流匹配到单步生成

Stable Audio 3 的训练流程包含流匹配预训练、蒸馏预热与对抗后训练三个阶段。流匹配阶段学习速度场 vθ(xt,t)，通过 Minibatch 最优传输耦合（Sinkhorn 迭代）拉直生成轨迹。蒸馏预热阶段将多步 ODE 生成蒸馏为单步预测，学生模型学习从任意中间状态 xt 直接预测终点 x̂0。

对抗后训练阶段完全抛弃教师模型，通过相对论判别器在 x0 空间直接优化。判别器采用与生成器相同的架构作为特征提取器，接收文本、时长、inpainting 掩码与时间步 tD（与生成器 t 解耦）的全条件输入。训练使用三项损失：相对论对抗损失（比较生成与真实样本的相对真实度）、对比损失（区分正确与打乱文本配对的音频）、以及 CLAP 语义对齐损失（在超球面上最小化文本 - 音频嵌入的测地距离）。

推理采用 Ping-Pong 采样策略：从纯噪声（t=1）出发，模型单步去噪至 x̂0，随后以更低时间步重新加噪，迭代 8 次后收敛。这种 "去噪 - 重噪" 的乒乓机制允许模型逐步修正早期错误，相比传统 ODE 求解器具有自校正特性。实验表明，8 步 Ping-Pong 采样即可达到 50 步基础流匹配模型的质量，在 H200 GPU 上生成 6 分 20 秒音频仅需不到 2 秒。

Inpainting 编辑：掩码驱动的局部控制

Stable Audio 3 支持三种编辑模式：单段 inpainting（随机掩码 2%-20% 时长区域）、多段 inpainting（1-10 个独立掩码区域，间隔至少 6 秒）与续写（因果掩码保留前缀）。编辑通过局部加法条件实现：原始音频经 SAME 编码后与二进制掩码逐元素相乘，掩码通道与掩码后潜向量拼接为 257 维条件张量，经 MLP 投影后注入各 Transformer 块。

训练时掩码类型按概率采样：全掩码（无条件生成，80%）、随机段掩码（10%）、因果续写掩码（10%）。损失函数分离计算生成区域（m=0）与上下文保留区域（m=1）的 MSE，确保编辑区域与保留区域的自然过渡。

部署参数与硬件适配

Stable Audio 3 提供三个规模变体：

small-music 与 small-sfx 分别针对音乐与音效优化，避免单一小模型在多域训练时的语义干扰。medium 与 large 采用统一模型处理音乐与音效生成，在 FAD 与 CLAP 指标上均达到开源模型最优。

推理时无需分类器自由引导（CFG），质量提升已通过蒸馏预热内化为模型能力。对于消费级部署，small 在 MacBook Pro M4 CPU 上通过 CoreML 与 TFLite 加速可实现数秒级推理，medium 在 RTX 4060（8GB VRAM）上可流畅生成长音频。

局限与优化方向

Stable Audio 3 的变量长度机制虽解决了计算效率问题，但存在长度 - 质量权衡：20 秒短音频因训练数据分布偏差（多为循环片段而非完整乐曲）导致 FAD 与 CLAP 下降；380 秒极长生成则可能出现语义漂移，模型倾向于生成环境音或古典音乐而忽略文本提示。此外，对抗后训练后的模型从纯噪声单步生成（ϵ→x̂0）仍有挑战，Ping-Pong 采样的多步迭代在极低延迟场景下仍是瓶颈。

未来优化方向包括：针对短音频的数据重采样策略、极长序列的分块自回归生成、以及单步生成的直接优化（如改进一致性模型或对抗蒸馏）。

资料来源

• Evans, Z., Parker, J. D., Rice, M., et al. (2026). Stable Audio 3. arXiv:2605.17991 [cs.SD]. https://arxiv.org/abs/2605.17991

ai-systems