吳恩達機器學習系列10：線性迴歸與邏輯迴歸的正則化

線性迴歸的正則化

還記得在線性迴歸中咱們有哪兩種方法去求代價函數的最小值嗎？固然是梯度降低和正規方程了。讓咱們來複習一下線性迴歸中梯度降低算法，以下：

其中黃色部分就是代價函數對參數 θ 的偏導數。當咱們正則化代價函數後，代價函數發生了改變：

相應地，偏導數也會改變，獲得正則化後的梯度降低算法：

把其中的 θ_j  提出來，簡化後：

那正規方程正則化後呢？就成了下面這樣：

邏輯迴歸的正則化

邏輯迴歸的代價函數爲：

與線性迴歸的正則化相似，邏輯迴歸的正則化就是在邏輯迴歸的代價函數中加入對參數的懲罰：

正則化後獲得的梯度降低算法與線性迴歸中很是像，只是假設函數不一樣而已。

ps. 本篇文章是根據吳恩達機器學習課程整理的學習筆記。若是想要一塊兒學習機器學習，能夠關注微信公衆號「SuperFeng」，期待與你的相遇。