八、正則化

 

過擬合問題

什麼是欠擬合？

欠擬合就是擬合度很差，存在高度誤差

 

什麼是過擬合？

過擬合就是在訓練數據上可以高度擬合，在應用數據集上卻不能很好的擬合。

出現這種現象的主要緣由是訓練數據種特徵變量太多存在噪音或者訓練數據太少。

 

怎麼解決過擬合問題？

一、減小特徵變量的數量

二、正則化：保留全部的特徵變量，減小特徵變量的量級

正則化損失函數：正則化的原理是加如正則項是權重值儘可能小

在房價預測的例子中，若是：特徵變量有100個，那相應的權重也有100個，正則項就須要100個

正則前的損失函數：

正則化後的損失函數：

線性迴歸正則化

梯度降低正則化

梯度降低：

正則化梯度降低：

正常方程正則化

正常方程：

正則化：

Logistic迴歸正則化

損失函數：

正則化損失函數：