關於訓練神經網路的諸多Trick

1. 避免過擬合 overfitting即過擬合，典型的表現爲訓練集損失遠遠小於驗證集損失。而欠擬合則表現爲訓練集損失大於驗證集損失。 要清楚遠遠大於的概念，如果訓練集損失只比驗證集損失多一點點的話，同等數量級(例如0.8與0.9)這種情況下並不是過擬合的表現。我們一般遇到的過擬合應該是0.8(訓練集損失)與2.0(驗證集損失)這種差距很大或者明顯不在一個量級的損失比。 方法：使用Drop out

>>阅读原文<<