深度學習之正則化

【注】部分圖片來源於吳恩達老師課程。 一、正則化使用場景   如果你的網絡過度擬合了數據，即存在高方差問題，那麼首先應該想到正則化。 二、正則化分類   分爲L1正則化和L2正則化兩種。首先，我們假定網絡中原本的損失函數爲：    其中，w爲網絡的權重值，b爲偏置值。   添加L1正則化後損失函數的形式可以表示爲：   即在最後添加了權重絕對值的和。 其中，λ是正則化參數。 添加L2正則化後損失函

>>阅读原文<<