L1正則化與L2正則化的理解

1、歸納：

L1和L2是正則化項，又叫作罰項，是爲了限制模型的參數，防止模型過擬合而加在損失函數後面的一項。

2、區別：

　　1.L1是模型各個參數的絕對值之和。

　　　L2是模型各個參數的平方和的開方值。

　　2.L1會趨向於產生少許的特徵，而其餘的特徵都是0.

　　　 由於最優的參數值很大機率出如今座標軸上，這樣就會致使某一維的權重爲0 ，產生稀疏權重矩陣

　　   L2會選擇更多的特徵，這些特徵都會接近於0。  

          最優的參數值很小几率出如今座標軸上，所以每一維的參數都不會是0。當最小化||w||時，就會使每一項趨近於0

3、再討論幾個問題

1.爲何參數越小表明模型越簡單？

　　越是複雜的模型，越是嘗試對全部樣本進行擬合，包括異常點。這就會形成在較小的區間中產生較大的波動，這個較大的波動也會反映在這個區間的導數比較大。

　　只有越大的參數纔可能產生較大的導數。所以參數越小，模型就越簡單。

2.實現參數的稀疏有什麼好處？

　　由於參數的稀疏，在必定程度上實現了特徵的選擇。通常而言，大部分特徵對模型是沒有貢獻的。這些沒有用的特徵雖然能夠減小訓練集上的偏差，可是對測試集的樣本，反而會產生干擾。稀疏參數的引入，能夠將那些無用的特徵的權重置爲0.

3.L1範數和L2範數爲何能夠避免過擬合？

　　

　　加入正則化項就是在原來目標函數的基礎上加入了約束。當目標函數的等高線和L1,L2範數函數第一次相交時，獲得最優解。

　　L1範數：

　　L1範數符合拉普拉斯分佈，是不徹底可微的。表如今圖像上會有不少角出現。這些角和目標函數的接觸機會遠大於其餘部分。就會形成最優值出如今座標軸上，所以就會致使某一維的權重爲0 ，產生稀疏權重矩陣，進而防止過擬合。

　　L2範數：

　　L2範數符合高斯分佈，是徹底可微的。和L1相比，圖像上的棱角被圓滑了不少。通常最優值不會在座標軸上出現。在最小化正則項時，能夠是參數不斷趨向於0.最後活的很小的參數。

　　假設要求的參數爲θθ，hθ(x)hθ(x)是咱們的假設函數，那麼線性迴歸的代價函數以下：

　　

　　那麼在梯度降低法中，最終用於迭代計算參數θθ的迭代式爲：

　　

　　若是在原始代價函數以後添加L2正則化，則迭代公式會變成下面的樣子：

　　

　　每一次迭代，θj都要先乘以一個小於1的因子，從而使得θj不斷減少，所以總得來看，θ是不斷減少的。