如何優化深度神經網絡

如何優化深度神經網絡     網絡越深越容易過擬合？ 假設訓練兩個層數不一樣的神經網絡，一個層數較少（例如20層），一個層數較多（50層），在測試集中我們發現： 測試集上的效果顯示20層要56層的錯誤率要更低，但是我們不能就先入爲主的斷定56層是由於參數太多導致過擬合，所以在測試集上表現要比20層神經網絡要差。 其實我們應該首先看看它們在訓練集上的表現： 上圖我們看到在訓練集上的錯誤率其實已經是5

>>阅读原文<<