去噪扩散模型
DEIS
FAST SAMPLING OF DIFFUSION MODELS WITH EXPONENTIAL INTEGRATOR提出Diffusion Exponential Integrator Sampler (DEIS)利用指数积分器减少离散化误差,并结合多项式外推和优化的时间离散化策略,显著提高了扩散模型的采样速度和样本质量。
扩散模型回顾
根据你提供的文本内容,该图像描述了扩散模型中的反向去噪过程,并给出了对应的反向时间随机微分方程(Reverse-time SDE)。以下是内容的识别与说明:
对于公式1定义的前向加噪过程 [ d\boldsymbol{x} = \boldsymbol{F}{t}\boldsymbol{x}dt + \boldsymbol{G}{t}d\boldsymbol{w} \tag 1 ]
其对应去燥反向过程的**随机微分方程(SDE)公式(2)如下:。 [ d\boldsymbol{x} = [\boldsymbol{F}{t}\boldsymbol{x}- \boldsymbol{G}{t}\boldsymbol{G}{t}^{T}\nabla \log p{t}(\boldsymbol{x})]dt + \boldsymbol{G}_{t}d\boldsymbol{w} \tag 2 ]
其中:
- ( F_i x ) 是前向过程的漂移项
- ( G_i G_i^T ) 是扩散系数的平方
- ( \nabla \log p_t(x) ) 是得分函数(score function)
Table 1: 两种常见的SDE(VPSDE与VESDE)
| SDE 类型 | (F_t) | (G_t) | (\mu_t) | (\Sigma_t) |
|---|---|---|---|---|
| VPSDE | (\frac{1}{2} \frac{d \log \alpha_t}{dt} I) | (\sqrt{-\frac{d \log \alpha_t}{dt}} I) | (\sqrt{\alpha_t} I) | ((1 - \alpha_t) I) |
| VESDE | (0) | (\sqrt{\frac{d [\sigma_t^2]}{dt}} I) | (I) | (\sigma_t^2 I) |
- 参数 (\alpha_t) 随时间递减,且 (\alpha_0 \approx 1),(\alpha_T \approx 0)。
- 参数 (\sigma_t) 随时间递增。