Dropout

在訓練網絡模型的時候，如果訓練集太少，要訓練的參數又很多，則容易產生過擬合（模型對訓練集具有較高的識別率，但是對測試集效果則會很差，這時候模型的泛化能力很差）。此時我們常用解決的辦法就是在損失函數中再添加一個懲罰項，通過設置一個懲罰係數，對模型中的參數進行「懲罰」，從而防止因爲模型中的大量的參數過大，而導致模型的複雜度上升，最後導致訓練出的模型出現過擬合。如果懲罰係數越大，則模型的複雜度就會越低，

>>阅读原文<<