座標軸下降法與最小角迴歸法

1. 回顧線性迴歸　 　　　　首先我們簡要回歸下線性迴歸的一般形式：  　　　　     　　　　需要極小化的損失函數是：  　　　　        　　　　如果用梯度下降法求解，則每一輪   迭代的表達式是：  　　　　     　　　　其中   爲步長。 　　　　如果用最小二乘法，則   的結果是： 　　　　         2. 回顧Ridge迴歸 　　　　由於直接套用線性迴歸可能產生過擬合

>>阅读原文<<