Ridge迴歸、Lasso迴歸、座標下降法、最小角迴歸

Ridge迴歸   可以看成是對最小二乘法的一種補充，嶺迴歸通過對係數的大小施加懲罰來解決普通最小二乘法的一些問題。 它和一般線性迴歸的區別是在損失函數上增加了一個L2正則化的項，和一個調節線性迴歸項和正則化項權重的係數 α 。損失函數表達式如下： J(θ)=12(Xθ−Y)T(Xθ−Y)+12α||θ||22 其中 α 爲常數係數，需要進行調優。 ||θ||2 爲L2範數。 Ridge迴歸的解法

>>阅读原文<<