深度網絡的過擬合問題討論

 問題背景 最近做深度學習實驗的時候遇到了一個很棘手的問題，那就是大名鼎鼎的「過擬合」，直觀地表現在圖中是長這個樣子的，分析來講就是說深度網絡在擬合訓練集的時候是可以很好地實現，Loss很小，Accuracy很大（我這兒能達到99.99%），但是呢，測試集的Loss很大，Accuracy在一個比較低的範圍內波動（我這兒是70%-80%），並沒有像論文中說的那樣，測試集的Loss隨着迭代的增加而

>>阅读原文<<