[斯坦福大學2014機器學習教程筆記]第四章-多元梯度降低法

    在這節中，咱們將介紹如何設定該假設的參數，咱們還會講如何使用梯度降低法來處理多元線性迴歸。

    首先，咱們回顧一下上節的知識點。

• 假設形式：h_θ(x)=θ^TX=θ₀x₀+θ₁x₁+θ₂x₂+θ₃x₃+……+θ_nx_n。（x₀=1）
• 參數：θ₀，θ₁，θ₂，……，θ_n。咱們也能夠把它想象成一個n+1維向量。
• 代價函數：J(θ₀,θ_1，……，θn)=(1/2m)Σ(h_θ(xⁱ)-yⁱ)²。（經過偏差項的平方和來給定）可是，咱們能夠不把J看做是這n+1個數的函數，咱們能夠把它看做是參數θ這個向量的函數。因此J(θ₀,θ_1，……，θn)也能夠寫做J(θ)。
• 那麼，咱們就能夠得出梯度降低的式子，以下所示。

    咱們要不斷經過θ_j減去α乘以導數項來更新每一個θ_j參數。

    接下來，讓咱們看一下執行梯度降低時是怎麼樣的。

    咱們先來回顧一下以前討論過的內容（即當n=1時的狀況）。

    在n=1的狀況下，咱們有兩個獨立的更新規則，分別對應參數θ₀和θ₁。

    那麼當n≥1時，咱們有

    因此，咱們就能獲得可行的用於多元線性迴歸的梯度降低法。當咱們有多個特徵量時，咱們會有多個更新規則來更新參數θ₀，θ₁，θ₂，……。

    當咱們觀察θ₀的更新規則，和以前n=1的時候的式子實際上是同樣的。它們同樣的緣由是，咱們約定了x₀⁽ⁱ⁾=1。當咱們觀察θ₁的更新規則，和以前n=1的時候的式子實際上是等效的。可是，咱們要注意，咱們使用了x₁⁽ⁱ⁾來表示第一個特徵量。如今咱們有多個特徵量，因此咱們也有多個類似的更新規則。