Lasso迴歸的座標下降法推導

目標函數 Lasso相當於帶有L1正則化項的線性迴歸。先看下目標函數： RSS(w)+λ∥w∥1=∑Ni=0(yi−∑Dj=0wjhj(xi))2+λ∑Dj=0|wj| 這個問題由於正則化項在零點處不可求導，所以使用非梯度下降法進行求解，如座標下降法或最小角迴歸法。 座標下降法 本文介紹座標下降法。 座標下降算法每次選擇一個維度進行參數更新，維度的選擇可以是隨機的或者是按順序。 當一輪更新結束後，

>>阅读原文<<