過擬合與L1,L2正則化

一、爲什麼會產生過擬合？ 我們常見的損失函數如下所示： 周志華的《機器學習》有一句話，「當樣本特徵很多，而樣本數相對較少時，上式很容易陷入過擬合」。關於這就話，我的理解是，當特徵較多時，對應的參數W的維度就會越高，越高的維度就越容易擬合出越高維度，越複雜的圖形。而當樣本數很少，但是又具有擬合複雜圖形的能力時，系統就會精確擬合全部特徵點，而陷入過擬合，如下圖 二、什麼是L1，L2正則化 L1範數是指

>>阅读原文<<