Ridge迴歸、Lasso迴歸、座標下降法、最小角迴歸

Ridge迴歸   可以看成是對最小二乘法的一種補充，嶺迴歸通過對係數的大小施加懲罰來解決普通最小二乘法的一些問題。 它和一般線性迴歸的區別是在損失函數上增加了一個L2正則化的項，和一個調節線性迴歸項和正則化項權重的係數αα。損失函數表達式如下： J(θ)=12(Xθ−Y)T(Xθ−Y)+12α||θ||22J(θ)=12(Xθ−Y)T(Xθ−Y)+12α||θ||22 其中 αα爲常數係數，需要

>>阅读原文<<