吳恩達 DeepLearning.ai 筆記（2）理解dropout

Dropout爲什麼可以減少過擬合？ （1）它會隨機丟棄掉一些結點，所以看起來是在更小的網絡上訓練。 （2）以下圖紫圈的神經元爲例，由於在中間做了dropout，所以向它輸入的四個神經元可以隨機失活，所以紫圈神經元不能把所有權重都壓在一個輸入神經元上面，以此來控制權重。（和L2正則化達到的效果類似） 舉例：如下圖，可以對不同的層使用不同的留存率。對於7*7的權值矩陣，使用0.5的留存率（過擬合的概

>>阅读原文<<