[機器學習必知必會]正則化

綜述 機器學習中經常會在損失函數中加入正則項，稱之爲正則化Regularize。 目的：防止模型過擬合 原理：在損失函數上加上某些規則（限制），縮小解空間，從而減少求出過擬合解的可能性 例子：以最簡單的線性模型爲例 我們在統計學習中接觸到的最小二乘估計利用均方誤差最小的原則來進行參數估計： 在最小二乘估計中加入正則項後，我們得到嶺估計： 在數學上我們可以證明嶺估計的參數模要嚴格小於最小二乘估計的參

>>阅读原文<<