L1,L2正則化理解-奧卡姆剃刀原理

文章轉自： https://blog.csdn.net/u011534057/article/details/51218921

在監督學習中，所涉及到的問題就是「minimize the error while regualrizing the parameters」，也就是說，在規則話參數的同時最小化偏差。最小化偏差是爲了讓模型擬合訓練數據，而規則話則是爲了防止模型過度擬合訓練數據。

奧卡姆剃刀原理思想就是在全部可能選擇的模型厚葬，選擇一個可以很好解釋已知數據而且十分簡單的模型。從貝葉斯估計的角度來看，規則化項對應模型的先驗機率。還有個說法就是規則化就是結構風險最小化策略的實現，在經驗風險上加一個正則化項（或者懲罰項）。

 通常來講，監督學習能夠看做最小化下面的目標函數：