座標軸下降法(解決L1正則化不可導的問題)

 設lasso迴歸的損失函數爲:                             其中,n爲樣本個數,m爲特徵個數。     由於lasso迴歸的損失函數是不可導的,所以梯度下降算法將不再有效,下面利用座標軸下降法進行求解。 座標軸下降法和梯度下降法具有同樣的思想,都是沿着某個方向不斷迭代,但是梯度下降法是沿着當前點的負梯度方向進行參數更新,而座標軸下降法是沿着座標軸的方向。      
相關文章
相關標籤/搜索