SDE视角的扩散模型

连续视角的扩散模型，用SDE描述

为什么要用SDE描述随机过程：

中间过程的扩散噪声图\(x_t\)有两个观察

• 当t固定的时候可以\(x_t\)看做一个随机变量，满足\(N(\sqrt{\overline\alpha_t} x_0, {1-\overline\alpha_t}I)\)​分布的随机变量

• 当x固定的时候，去改变t，也就是得到\(x_0,x_1...x_T\)这样一条序列，也就是完成了一次采样，固定了一条采样轨迹

基于对于\(x_t\)的两个观察，可以认为\(x_t\)​实际上是一个随机过程(关于x和t的函数\(f(x,t)\)​​，描述随机过程的方式就有SDE，我们用SDE描述随机过程

如何描述：从基于tanformation的离散序列到SDE描述的连续过程

score model和DDPm都是从离散时间点出发，考虑正向和反向的离散的序列：

\(x_0,x_1...x_T\) \(x_T,x_T-1...x_0\)

用SDE考虑这一过程就是考虑离散过程--> 连续过程的转化，使得这个过程更加的一般

$t,->0 \ 正向：x_t-x_{t+}, \ 反向：x_{t+} - x_t \ $

score-based diffusion process

forward process

$dx = f_t(x) , dt + g_t , dw $​

对应的离散形式是

\(x_{t+\Delta t} - x_t = f_t(x_t) \Delta t + g_t \sqrt{\Delta t} \, \varepsilon_t, \quad \varepsilon \sim \mathcal{N}(0, I)\)

reverse process:

\(dx = \left[ f_t(x) - g_t^2 \nabla_x \log p_t(x) \right] dt + g_t dw\)

对应的离散形式是：

\(x_t - x_{t+\Delta t} = - \left[ f_{t+\Delta t}(x_{t+\Delta t}) - g_{t+\Delta t}^2 \nabla_{x_{t+\Delta t}} \log p(x_{t+\Delta t}) \right] \Delta t + g_{t+\Delta t} \sqrt{\Delta t} \, \varepsilon\)

ddpm和score model的SDE视角

VE-SDE: NCSN

VP-SDE: DDPM

这篇文章还比较粗糙，后面还会补充...

参考：

https://space.bilibili.com/13355688?spm_id_from=333.788.0.0