deeplearning的wake-sleep算法

對於多層的神經網絡，在單獨訓練完每一層之後，需要對整個系統進行調優。 （這裏的每一層要求能單獨訓練，常用的爲自編碼網絡、RBM網絡、去噪自編碼網絡（加噪聲訓練的自編碼網絡，魯棒性強）） 但是基於SGD隨機梯度下降的方法在多層上容易產生各種梯度問題、如梯度發散等。 因此這時候就出現了wake-sleep算法。wake-sleep算法的思想跟CD（基於gibbs採樣的對比散度算法）有相似的地方， 二者

>>阅读原文<<