吳恩達機器學習系列14：誤差與方差

在訓練機器學習模型中，結果不能被很好地預測一般是由於高誤差（欠擬合）或高方差（過擬合）。把交叉驗證集的代價函數和測試集的代價函數畫在一個圖像中：

左面紅色部分爲高誤差（欠擬合），右邊紅色部分爲高方差（過擬合）。

對於以下模型，線性迴歸正則化的代價函數爲：

其中藍色框爲正則化項，λ 越大，表明對參數的懲罰就越大。

訓練集代價函數  J_train (θ) 、交叉驗證集代價函數 J_cv (θ) 和測試集代價函數 J_test (θ) 不須要加正則化項，以下：

對於正則化代價函數，經過不一樣的 λ 值計算出參數集 θ，而後計算出相應的交叉驗證集代價函數 J_cv (θ) 和測試集代價函數 J_test (θ)。

將它們畫在一張圖像中：

你會發現，隨着 λ 增長， J_test (θ) 在不斷增大，也就是說擬合程度愈來愈差。λ 剛開始增長時， J_cv (θ) 先減少，表示正則化優化了多項式的擬合，泛化程度較好；但隨着 λ 不斷增長，多項式對數據的擬合也會愈來愈差。經過這個圖像，就能夠找出最佳擬合的位置。

ps. 本篇文章是根據吳恩達機器學習課程整理的學習筆記。若是想要一塊兒學習機器學習，能夠關注微信公衆號「SuperFeng」，期待與你的相遇。