深度學習中的正則化

任何可以使學習算法有降低泛化誤差意向的改動都是正則化。一個有效的正則化就是能顯著地降低方差而不過度增加偏差。 最好的擬合模型總是一個適當正則化的大型模型！ 1，參數範數懲罰與約束範數懲罰 L2參數懲罰（嶺迴歸）：特徵權重衰減，可以解釋爲權重爲高斯先驗的MAP貝葉斯推斷。 L1參數懲罰（Lasso迴歸用到L1）：特徵稀疏，有特徵選擇的效果，可以解釋爲權重爲Laplace先驗的MAP貝葉斯推斷。 約束

>>阅读原文<<