機器學習線性迴歸:談談多重共線性問題及相關算法

         前面幾天闡述了線性迴歸的最小二乘法(OLS)在做迴歸時,一致地看待每一個樣本點,是典型的無偏估計,會得到一個使得殘差最小的權重參數。然而,在面對一堆數據集存在多重共線性時,OLS 就變得對樣本點的誤差極爲敏感,最終迴歸後的權重參數方差變大。這就是需要解決的共線性迴歸問題,一般思想是放棄無偏估計,損失一定精度,對數據做有偏估計,這裏介紹兩種常用的算法:脊迴歸和套索迴歸。 00 基本
相關文章
相關標籤/搜索