[斯坦福大學2014機器學習教程筆記]第四章-多元梯度降低法

    在這節中,咱們將介紹如何設定該假設的參數,咱們還會講如何使用梯度降低法來處理多元線性迴歸。函數

    首先,咱們回顧一下上節的知識點。spa

  • 假設形式:hθ(x)=θTX=θ0x01x12x23x3+……+θnxn。(x0=1)
  • 參數:θ0,θ1,θ2,……,θn。咱們也能夠把它想象成一個n+1維向量
  • 代價函數:J(θ01,……,θn)=(1/2m)Σ(hθ(xi)-yi)2。(經過偏差項的平方和來給定)可是,咱們能夠不把J看做是這n+1個數的函數,咱們能夠把它看做是參數θ這個向量的函數。因此J(θ01,……,θn)也能夠寫做J(θ)。
  • 那麼,咱們就能夠得出梯度降低的式子,以下所示。

    咱們要不斷經過θj減去α乘以導數項來更新每一個θj參數。3d

    接下來,讓咱們看一下執行梯度降低時是怎麼樣的。blog

    咱們先來回顧一下以前討論過的內容(即當n=1時的狀況)。im

    在n=1的狀況下,咱們有兩個獨立的更新規則,分別對應參數θ0和θ1margin

    那麼當n≥1時,咱們有img

    因此,咱們就能獲得可行的用於多元線性迴歸的梯度降低法。當咱們有多個特徵量時,咱們會有多個更新規則來更新參數θ0,θ1,θ2,……。di

    當咱們觀察θ0的更新規則,和以前n=1的時候的式子實際上是同樣的。它們同樣的緣由是,咱們約定了x0(i)=1。當咱們觀察θ1的更新規則,和以前n=1的時候的式子實際上是等效的。可是,咱們要注意,咱們使用了x1(i)來表示第一個特徵量。如今咱們有多個特徵量,因此咱們也有多個類似的更新規則。co

相關文章
相關標籤/搜索