Dropout理解-原理,實現,優缺點

一,爲何提出dropout? 在機器學習或者深度學習中,經常出現的問題是,訓練數據量小,模型複雜度高,這就使得模型在訓練數據上的預測準確率高,但是在測試數據上的準確率低,這時就是出現了過擬合。 爲了緩解過擬合,可採用的方法有很多,其中一種就是集成,通過訓練多個模型,採用「少數服從多數」的策略決定最終的輸出,但同時這個方法有一個很明顯的缺點–訓練時間長。 因此,dropout的提出主要基於以下兩點:
相關文章
相關標籤/搜索