正則化懲罰項

對於x如圖，假設有兩組W，最終W乘以X的轉置都爲1，但是 w1只與X的第一個像素點，與其他像素值無關，就算是[1,2,3,4]也是算出來1 w2是綜合考慮了每一個點。分佈顯的均勻。 於是引入正則化懲罰項 假設引入L2懲罰項，計算W的平方和，則 w1的懲罰項爲1^2+0+0+0=1 w2懲罰項爲4x(1/4)^2=1/4 雖然他們有相同的損失函數，但是加上正則化懲罰項之後，就不一樣了。這時候就會選擇

>>阅读原文<<