正則化

正則化： 作用：選擇經驗損失(風險)函數和模型複雜度都小的模型(模型複雜可能過擬合，緩解過擬合) 一般形式： 經驗損失函數+正則化項，λ大於等於0用於調整二者之間的關係 在經驗損失函數小時（經驗損失大小取決於於訓練誤差，模型很好的擬合了訓練數據），模型可能很複雜(有多個非零係數)，這時正則化項的複雜度(值)會變大。       正則化項一般使用Lp範數，一般使用模型參數（線性迴歸中x的係數）的L1

>>阅读原文<<