正則化與數據先驗分佈的關係

過擬合的原因：使用的模型過於複雜，根據VC維理論：VC維很高的時候，就容易發生bias很低，但variance很高的情形. 解決過擬合最常用的方法就是regularization, 常用的有：L1正則, L2正則等.L1正則會使得參數稀疏化, L2正則可以起到平滑的作用, 從貝葉斯理論的角度審視下正則化. 從貝葉斯的角度來看, 正則化等價於對模型參數引入先驗分佈.(先驗概率可理解爲統計概率，後驗概

>>阅读原文<<