1.7 理解 Dropout-深度學習第二課《改善深層神經網絡》-Stanford吳恩達教授

理解Dropout Dropout可以隨機刪除網絡中的神經單元，他爲什麼可以通過正則化發揮如此大的作用呢？ 直觀上理解：不要依賴於任何一個特徵，因爲該單元的輸入可能隨時被清除，因此該單元通過這種方式傳播下去，併爲單元的四個輸入增加一點權重，通過傳播所有權重，dropout將產生收縮權重的平方範數的效果，和之前講的 L 2 L2 L2 正則化類似；實施dropout的結果實它會壓縮權重，並完成一些預

>>阅读原文<<