深度學習中的Dropout

dropout是指在深度學習網絡的訓練過程當中，對於神經網絡單元，按照必定的機率將其暫時從網絡中丟棄。注意是暫時，對於隨機梯度降低來講，因爲是隨機丟棄，故而每個mini-batch都在訓練不一樣的網絡。

dropout是CNN中防止過擬合提升效果的一個大殺器，但對於其爲什麼有效，卻衆說紛紜。
---------------------
做者：張雨石
來源：CSDN
原文：https://blog.csdn.net/stdcoutzyx/article/details/49022443
版權聲明：本文爲博主原創文章，轉載請附上博文連接！

若是要訓練一個大型的網絡，訓練數據不多的話，那麼很容易引發過擬合(也就是在測試集上的精度很低)，可能咱們會想到用L2正則化、或者減少網絡規模。然而深度學習領域大神Hinton，在2012年文獻：《Improving neural networks by preventing co-adaptation of feature detectors》提出了，在每次訓練的時候，讓一半的特徵檢測器停過工做，這樣能夠提升網絡的泛化能力，Hinton又把它稱之爲dropout。
---------------------
做者：hjimce
來源：CSDN
原文：https://blog.csdn.net/hjimce/article/details/50413257
版權聲明：本文爲博主原創文章，轉載請附上博文連接！