Dropout

Dropout 很形象的Dropout如圖所示： 　關於Dropout，Hinton文章中(文末)沒有給出任何數學解釋，Hintion的直觀解釋和理由如下： 1. 由於每次用輸入網絡的樣本進行權值更新時，隱含節點都是以一定概率隨機出現，因此不能保證每2個隱含節點每次都同時出現，這樣權值的更新不再依賴於有固定關係隱含節點的共同作用，阻止了某些特徵僅僅在其它特定特徵下才有效果的情況。 2. 可以將dr

>>阅读原文<<