dropout的隱式偏置（爲什麼要使用dropout）

現代的深度神經網絡通常具有海量參數，甚至高於訓練數據的大小。這就意味着，這些深度網絡有着強烈的過擬合傾向。緩解這一傾向的技術有很多，包括L1、L2正則、及早停止、組歸一化，以及dropout。在訓練階段，dropout隨機丟棄隱藏神經元及其連接，以打破神經元間的共同適應。儘管dropout在深度神經網絡的訓練中取得了巨大的成功，關於dropout如何在深度學習中提供正則化機制，目前這方面的理論解釋

>>阅读原文<<