线性因子模型

我们首先从因子分布中抽取变量 $p(h)=\prod_ip(h_i)$ 并且假定可观测变量由线性变换给出 $x=Wh+b+noise$ 其中噪声是对角化的且服从高斯分布。下面给出几种方法，它们是上述等式的特殊情况，区别仅仅在于先验 $p(h)$ 和噪声的形式不同。

因子分析

设潜变量的先验是

$h\sim N(h;0,I)$

如果再假定噪声是从对角协方差矩阵的分布中抽样出来的，则有 $\psi=\sigma^2$ 那么在给定 $h$ 的情况下，$x$ 是条件独立的。进而

$$x\sim N(x,b,WW^T+\psi)$$

特别地，如果让噪声的方差都等于一个值，那么有

$$x\sim N(x;b,WW^T+\sigma^2I)$$

这种观察表明：除了微小的重构误差外，数据中的大多数变化可以由潜变量 h 描述。特别地，当 $\sigma=0$ 时，概率 PCA 退化为 PCA。

独立成分分析（ICA）

独立成分分析通常使用了非 Gauss 的先验分布（这是因为 Gauss 先验常常使得 W 不可识别），例如 $p(h_i)=\sigma'(h_i)$。然后，模型确定性地生成 $x=Wh$，然后通过一般的方法如最大似然进行学习。一部分方法不使用最大似然准则，而是使得 $h=W^-1x$ 尽可能不相关。ICA 常常用于信号分离而不是生成数据。