【零基礎】神經網絡優化之L1、L2

一、序言 　　前面的文章中，我們逐步從單神經元、淺層網絡到深層網絡，並且大概搞懂了「向前傳播」和「反向傳播」的原理，比較而言深層網絡做「手寫數字」識別已經遊刃有餘了，但神經網絡還存在很多問題，比如最常見的兩個問題：「過擬合」和「欠擬合」，下圖中從左到右依次是「欠擬合」、「剛剛好」、「過擬合」。    　　簡單點說，欠擬合是我們學習到的w沒能很好地「滿足」訓練數據的特徵，一般是因爲訓練數據太少、訓練

>>阅读原文<<