自编码器

欠完备自编码器

我们可以限制 $h$ 的维度比 $x$ 小。此时学习过程可以描述为最小化损失函数： $L(x,r)$ 如果解码器是线性的且 L 是均方误差，则会学习出与 PCA 相同的编码。理论上来说，非线性编码器可以学习出更强大的非线性推广。但如果非线性编码器容量太大，仍然会学不到任何有用信息。

正则自编码器

正则自编码器使用的损失函数鼓励模型学习其他特性，而不必限制模型容量。