機器學習篇——正則化

l1和l2正則化 1、作用 損失函數一般爲經驗風險加上結構風險，其中結構風險最小化即正則化，減少過擬合 正則化可以看做先驗， 2、應用 線性迴歸中，lasso迴歸：正則項爲λw的1範數 rige迴歸：正則項爲λw的2範數 svm：0.5w的2範數，即間隔 決策樹：α乘以葉子數 xgboost： l1正則項，葉子節點的個數 L2正則項，平滑各葉子節點的預測值 神經網絡： 損失函數中引入正則項 CNN

>>阅读原文<<