神經網絡的過擬合問題以及L1、L2正則化

所謂過擬合，指的是當一個模型過爲複雜之後，它可以很好的「記憶」每一個訓練數據中隨機噪音的部分而忘記了要去「學習」訓練數據中通用的趨勢。 舉一個極端的例子，如果一個模型的參數比訓練數據的總說還多，那麼只要訓練數據不衝突，這個模型完全可以記住所有訓練數據的結果從而使得損失函數爲0。然而，過度擬合訓練數據中的隨機噪音雖然可以得到非常小的損失函數，但是對於未知數據可能無法做出可靠的判斷。 下圖顯示了模型訓

>>阅读原文<<