变分自编码器

VAE是一个分别具有先验和噪声分布的生成模型，一般用最大期望算法（Expectation-Maximization meta-algorithm）来训练。这样可以优化数据似然的下限，用其它方法很难实现这点，且需要q分布或变分后验。这些q分布通常在一个单独的优化过程中为每个单独数据点设定参数；而VAE则用神经网络作为一种摊销手段来联合优化各个数据点，将数据点本身作为输入，输出变分分布的参数。从一个已知的输入空间映射到低维潜空间，这是一种编码过程，因此这张神经网络也叫“编码器”。

解码器则从潜空间映射回输入空间，如作为噪声分布的平均值。也可以用另一个映射到方差的神经网络，为简单起见一般都省略掉了。这时，方差可以用梯度下降法进行优化。

优化模型常用的两个术语是“重构误差（reconstruction error）”和“KL散度”。它们都来自概率模型的自由能表达式（Free Energy Expression ），因而根据噪声分布和数据的假定先验而有所不同。例如，像IMAGENET这样的标准VAE任务一般都假设具有高斯分布噪声，但二值化的MNIST这样的任务则需要伯努利噪声。自由能表达式中的KL散度使得与p分布重叠的q分布的概率质量最大化，但这样可能导致出现搜寻模态（Mode-Seeking Behaviour）。自由能表达式的剩余部分是“重构”项，需要用采样逼近来计算其期望。^[7]

从建立概率模型的角度来看，人们希望用他们选择的参数化概率分布${\displaystyle p_{\theta }(x)=p(x|\theta )}$ 使数据${\displaystyle x}$ 的概率最大化。这一分布常是高斯分布${\displaystyle N(x|\mu ,\sigma )}$ ，分别参数化为${\displaystyle \mu }$ 和${\displaystyle \sigma }$ ，作为指数族的一员很容易作为噪声分布来处理。简单的分布很容易最大化，但如果假设了潜质（latent）${\displaystyle z}$ 的先验分布，可能会产生难以解决的积分。让我们通过对${\displaystyle z}$ 的边缘化找到${\displaystyle p_{\theta }(x)}$ 。

${\displaystyle p_{\theta }(x)=\int _{z}p_{\theta }({x,z})\,dz,}$ 

其中，${\displaystyle p_{\theta }({x,z})}$ 表示可观测数据${\displaystyle x}$ 于${\displaystyle p_{\theta }}$ 下的联合分布，和在潜空间中的形式（也就是编码后的${\displaystyle z}$ ）。根据连锁法则，方程可以改写为

${\displaystyle p_{\theta }(x)=\int _{z}p_{\theta }({x|z})p_{\theta }(z)\,dz}$ 

在香草VAE中，通常认为${\displaystyle z}$ 是实数的有限维向量，${\displaystyle p_{\theta }({x|z})}$ 则是高斯分布。那么${\displaystyle p_{\theta }(x)}$ 便是高斯分布的混合物。

现在，可将输入数据和其在潜空间中的表示的映射定义为

• 先验${\displaystyle p_{\theta }(z)}$ 
• 似然值${\displaystyle p_{\theta }(x|z)}$ 
• 后验${\displaystyle p_{\theta }(z|x)}$ 

不幸的是，对${\displaystyle p_{\theta }(x)}$ 的计算十分困难。为了加快计算速度，有必要再引入一个函数，将后验分布近似为

${\displaystyle q_{\phi }({z|x})\approx p_{\theta }({z|x})}$ 

其中${\displaystyle \phi }$ 是参数化的${\displaystyle q}$ 的实值集合。这有时也被称为“摊销推理”（amortized inference），因为可以通过“投资”找到好的${\displaystyle q_{\phi }}$ ，之后不用积分便可以从${\displaystyle x}$ 快速推断出${\displaystyle z}$ 。

这样，问题就变成了找到一个好的概率自编码器，其中条件似然分布${\displaystyle p_{\theta }(x|z)}$ 由概率解码器（probabilistic decoder）计算得到，后验分布近似${\displaystyle q_{\phi }(z|x)}$ 由概率编码器（probabilistic encoder）计算得到。

下面将编码器参数化为${\displaystyle E_{\phi }}$ ，将解码器参数化为${\displaystyle D_{\theta }}$ 。

如同每个深度学习问题，为了通过反向传播算法更新神经网络的权重，需要定义一个可微损失函数。

对于VAE，这一思想可以实现为联合优化生成模型参数${\displaystyle \theta }$ 和${\displaystyle \phi }$ ，以减少输入输出间的重构误差，并使${\displaystyle q_{\phi }({z|x})}$ 尽可能接近${\displaystyle p_{\theta }(z|x)}$ 。重构损失常用均方误差和交叉熵。

作为两个分布之间的距离损失，反向KL散度${\displaystyle D_{KL}(q_{\phi }({z|x})\parallel p_{\theta }({z|x}))}$ 可以很有效地将${\displaystyle q_{\phi }({z|x})}$ 挤压到${\displaystyle p_{\theta }(z|x)}$ 之下。^[8][9]

刚刚定义的距离损失可扩展为

${\displaystyle {\begin{aligned}D_{KL}(q_{\phi }({z|x})\parallel p_{\theta }({z|x}))&=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {q_{\phi }(z|x)}{p_{\theta }(z|x)}}\right]\\&=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {q_{\phi }({z|x})p_{\theta }(x)}{p_{\theta }(x,z)}}\right]\\&=\ln p_{\theta }(x)+\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {q_{\phi }({z|x})}{p_{\theta }(x,z)}}\right]\end{aligned}}}$ 

现在定义证据下界（Evidence lower bound，ELBO）：

给出的形式不大方便进行最大化，可以用下面的等价形式：

有效搜索到

它可以很直接地找到

最重要的例子是当${\displaystyle z\sim q_{\phi }(\cdot |x)}$ 遵循正态分布时，如${\displaystyle {\mathcal {N}}(\mu _{\phi }(x),\Sigma _{\phi }(x))}$ 。

 

重参数化技巧之后的VAE方案

可以通过让${\displaystyle {\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(0,{\boldsymbol {I}})}$ 构成“标准随机数生成器”来实现重参数化，并将${\displaystyle z}$ 构建为${\displaystyle z=\mu _{\phi }(x)+L_{\phi }(x)\epsilon }$ 。这里，${\displaystyle L_{\phi }(x)}$ 通过科列斯基分解得到：

由于我们重参数化了${\displaystyle z}$ ，所以需要找到${\displaystyle q_{\phi }(z|x)}$ 。令${\displaystyle q_{0}}$ 为${\displaystyle \epsilon }$ 的概率密度函数，那么

许多VAE的应用和扩展已被用来使其适应其他领域，并提升性能。

${\displaystyle \beta }$ -VAE是带加权KL散度的实现，用于自动发现并解释因子化的潜空间形式。这种实现可以对大于1的${\displaystyle \beta }$ 值强制进行流形分解。这个架构可以在无监督下发现解耦的潜因子。^[13][14]

条件性VAE（CVAE）在潜空间中插入标签信息，强制对所学数据进行确定性约束表示（Deterministic Constrained Representation）。^[15]

一些结构可以直接处理生成样本的质量，^[16][17]或实现多个潜空间，以进一步改善表征学习的效果。^[18][19]

一些结构将VAE和生成对抗网络混合起来，以获得混合模型。^[20][21][22]