线性因子模型
我们首先从因子分布中抽取变量 并且假定可观测变量由线性变换给出 其中噪声是对角化的且服从高斯分布。下面给出几种方法,它们是上述等式的特殊情况,区别仅仅在于先验 和噪声的形式不同。
因子分析
设潜变量的先验是
如果再假定噪声是从对角协方差矩阵的分布中抽样出来的,则有 那么在给定 的情况下, 是条件独立的。进而
特别地,如果让噪声的方差都等于一个值,那么有
这种观察表明:除了微小的重构误差外,数据中的大多数变化可以由潜变量 h 描述。特别地,当 时,概率 PCA 退化为 PCA。
独立成分分析(ICA)
独立成分分析通常使用了非 Gauss 的先验分布(这是因为 Gauss 先验常常使得 W 不可识别),例如 。然后,模型确定性地生成 ,然后通过一般的方法如最大似然进行学习。一部分方法不使用最大似然准则,而是使得 尽可能不相关。ICA 常常用于信号分离而不是生成数据。