受限玻爾茲曼機

轉自：http://www.cnblogs.com/jhding/p/5687696.html 受限玻爾茲曼機 梯度下降法（以及相關的L-BFGS算法等）在使用隨機初始化權重的深度網絡上效果不好的技術原因是：梯度會變得非常小。具體而言，當使用反向傳播方法計算導數的時候，隨着網絡的深度的增加，反向傳播的梯度（從輸出層到網絡的最初幾層）的幅度值會急劇地減小。結果就造成了整體的損失函數相對於最初幾層的權

>>阅读原文<<