Hinton神经网络课第十四讲笔记：深度信念网络与判别微调

尽管上一讲的题目是“深度信念网络”（DBN），但是实际上主要是在讲Sigmoid Belief Net（SBN）。这一讲第一节才真正介绍说，DBN是由预训练好的RBM堆叠而成。堆叠以后，最上面两个特征层仍然是RBM，连接是双向的；下面所有层之间都是单向连接，形成若干SBN。所有这些特征层（连同一个输入层一起）是一个DBN。组装好以后，可以通过一种唤醒-睡眠算法的变种来微调DBN，使之更好地生成数据。接下来，尽管DBN是一个生成模型，但是也可以通过反向传播的方法，对预训练的权重做另一个方向微调，使得DBN可以成为一个不错的判别模型，可以根据输入预测其对应的标签。第二、三节主要讲述为什么这种预训练的模型在判别任务上也能取得不错的结果。最后，将DBN扩展到了实数值数据的问题上，通过引入高斯分布和ReLU单元解决问题

详细内容戳我