三、嶺迴歸

根據線性迴歸標準方程法的公式： 當數據特徵n>樣本個數m的時候，xTx會出現有一些行或者列全是0的情況，這就不是滿秩矩陣（沒有哪一行或列全是0），所以不可逆。 I這個單位矩陣的行列與xTx是一樣的，且單位矩陣I是滿秩矩陣，λ一般是一個比較小的數，xTx + λI 的結果就是一個滿秩矩陣。所以可逆。 嶺迴歸的公式是通過L2正則化推演出來的，推演過程如下： 沒有加上正則化的代價函數，稱之爲無偏估計，加

>>阅读原文<<