吳恩達機器學習系列9：正則化

在介紹正則化以前，咱們先來介紹一下什麼是欠擬合和過擬合問題。

欠擬合和過擬合

在線性迴歸問題中，像下面這個數據集，經過房屋面積去預測房價，咱們用一次函數去擬合數據：

發現擬合地並非很好，咱們稱它爲欠擬合。當咱們用二次多項式去擬合時：

咱們發現這個擬合的剛恰好。

當咱們用高次多項式去擬合時：

發現這個函數圖像異常扭曲，雖然數據集所有擬合到圖像上了，可是這個函數並不能很好地去預測你想要的結果。咱們稱這種現象叫過擬合。

對於欠擬合，咱們能夠增長函數的多項式的次數，可是對於過擬合來講，咱們該如何解決這個問題呢？

有兩種方法去解決過擬合的問題：

1.減小特徵變量的數目：

• 手動選擇哪一個特徵變量要捨棄 ；

• 模型選擇算法。

2.正則化：

• 保留全部的特徵變量，可是減少量級或參數 θ_ j  的大小。

• 當訓練集有許多有用的特徵變量時正則化處理會很好。

那麼如何進行正則化呢？

正則化

在過擬合問題中，每一個特徵變量可能都對結果產生影響，例如預測房價，如今有不少特徵變量：大小，樓層，臥室數目等等……。這些特徵都會對房價的最終結果產生影響，雖然有些特徵產生的影響很小，可是要想結果預測準確，咱們須要保留全部特徵變量，這時候咱們就要考慮代價函數。

線性迴歸的代價函數爲：

觀察咱們訓練的模型對數據集擬合的好很差，就要讓代價函數最小，同時爲了保留全部的特徵，那麼就能夠給參數 θ 增長一個大的懲罰，例如：

這樣要使代價函數最小，參數 θ_3  和 θ_4  就應該很小，由於它們的懲罰很大。當參數 θ_3  和 θ_4  很小時，在多項式中它們所在的那些項對總體影響就很小了。這種方法就是正則化（Regularization）解決過擬合問題。

要想正則化全部的參數，就能夠按照下列公式：

其中 λ 又稱正則化參數（regularization parameter），它的目標是平衡更好地擬合數據和保持參數儘可能最小這二者之間的關係。

ps. 本篇文章是根據吳恩達機器學習課程整理的學習筆記。若是想要一塊兒學習機器學習，能夠關注微信公衆號「SuperFeng」，期待與你的相遇。