機器學習算法基礎知識點複習2——L1與L2正則化、梯度、散度、旋度、拉普拉斯算子、傅里葉變換

正則化 我們所說的正則化，就是在原來的loss function的基礎上，加上了一些正則化項或者稱爲模型複雜度懲罰項。 以線性迴歸爲例： 結構風險最小化： 在經驗風險最小化的基礎上（也就是訓練誤差最小化），儘可能採用簡單的模型，以此提高泛化預測精度。 舉一個通俗的栗子：當針對樣本（1,1,1,1）有w1（1,0,0,0）與w2（1/4,1/4,1/4,1/4）計算得到的結果相同，此時選擇哪一個模型

>>阅读原文<<