dropout

dropout有一個參數p，p的取值介於0和1，含義是每個節點有p概率被拋棄。 被拋棄對這個節點有什麼影響呢？dropout對於節點的影響表現在，一旦某個節點被選定爲拋棄的節點，那麼對於神經網絡的forward過程這個節點的輸出就被置爲0；對於backward過程，這個節點的權重和偏置不參與更新。也就是說，在某次迭代中，網絡中有部分節點不參與這一次的訓練，整個網絡結構等效於下圖右側（左側是drop

>>阅读原文<<