機器學習筆記2-單變量線性迴歸

1.模型描述：

1.1監督學習 Supervised Learning：

given the right answer for each example in the data.
對於每一個數據集中的樣例都有一我的爲給出的正確答案。

1.2迴歸問題 Regression problem：

predict real-valued output.
預測實際值的輸出。
ps：迴歸問題這個從字面意思上我總是會記錯它是幹嗎的，能夠這樣聯想記憶，函數是一個線性模型，就是一條線，咱們要讓新的值，迴歸到這條線上面。就是預測一個新的值是 否在這個模型上，就是預測值是否會迴歸到這條線上，這樣可能就記住了迴歸是預測實際值的輸出。

1.3分類問題 Classification problem：

predict discrete-valued output.
預測離散值的輸出。

1.4訓練過程：

根據訓練集學習出一個學習算法，也就是一個函數，而後經過輸入新數據來預測新的值。 只有一個變量的線性迴歸叫作單變量線性迴歸。

2.代價函數：

We can measure the accuracy of our hypothesis function by using a cost function . This takes an average difference (actually a fancier version of an average) of all the results of the hypothesis with inputs from x's and the actual output y's.
咱們可使用代價函數來衡量假設函數的準確性。這將假設的全部結果與x的輸入和實際輸出y的平均值進行平均差（其實是平均值的簡化形式）。 ps：1.對於單變量的線性迴歸來講，h(x)= Θ0 + Θ1*x，兩個變量能夠根據訓練集的數據得出不少組值，可是隻有一組值是最好的。因此要怎麼衡量哪一組Θ是最好的，就須要使用代價函數， 代價函數的公式和方差標準差有點像。使用x1計算出來的h(x1)和訓練集的y1的差值的平方，這裏是計算當前h(x)和實際的差距，而後在除以2m（m是樣本的數據），將數據平均化。
2.代價函數由於是平方的1/2m，因此永遠是一個正數 若是將代價函數的全部可能的取值畫出來，單變量線性迴歸的狀況下會是一個碗的形狀，那麼碗的底部的中心就是全局的最優解，就是最小的那個代價函數。

3.梯度降低：

先看下梯度降低的定義：

梯度降低是一種算法， 用來找到代價函數的最小值。 1.任意從一點的Θ0，Θ1開始
2.讓 $（Θ0，Θ1）$慢慢減少，直到找到最小值的代價函數。
ps： 1.形象的例子就是想象代價函數就是一座山，站在山的某一點去往山下，作法就是先往山上看一圈，往山下的方向走一小步，走完一步，再下一步用相同的方式再走下一步。
2.從代價函數的值始終是正數咱們知道,而後α是小於等於1, 是學習率α乘以J(θ0,θ1)對θ1的偏導數，當斜率是正數的時候，θ0或者θ1就會往左邊降低，當斜率是負數的時候，θ0或者θ1就會往右邊降低。這樣就保證了無論斜率是正向仍是負向都是 往局部最低點去靠近。 3.對於θ0,θ1是要同時更新的，能夠看圖片中正確和錯誤的作法。若是是後者實際上是拿了已經變動的θ0在去更新θ1，這個時候值就不是同步更新的，最後獲得的就可能不是最小值。 4.從不一樣的初始值，就是任意一點的(θ0,θ1)開始，可能會去往不一樣的局部最小值。 5.若是步長過小，會致使梯度降低比較慢，要計算不少次才能找到最小值（可是這個影響其實比較小）。若是步長較大，可能會出現收斂失敗或者甚至是發散的結果。

6.若是初始點就是在局部的最優解上面，因此偏導數會是0，因此按照公式計算θ1 = θ1 - 0。值就是原來的值因此不會繼續往下降低。

4.線性迴歸的梯度降低:

將上文學習到的代價函數和梯度降低進行公式合併，就能夠推導出來一個新的公式。

因此線性迴歸的梯度降低公式就是：

5.總結：

1.學習了監督學習，迴歸問題，分類問題的一些做用和定義；
2.學習了代價函數和梯度降低算法，並將二者的公式組合在一塊兒生成了一個新的線性迴歸的提低降低的算法公式；
3.複習了之前學習的一些數學知識，偏導數，斜率的含義等，特別是在推導公式的時候。