[斯坦福大學2014機器學習教程筆記]第二章-代價函數的數學定義

    在這節，咱們將定義代價函數的概念，這有助於咱們弄清楚怎麼樣將最有可能的直線與數據相擬合。

    下面咱們看一個例子。

    在線性迴歸中，咱們有這樣一個訓練集。根據上一節的定義，咱們知道m=47，而咱們的假設函數的函數形式爲 h_θ(x)=θ₀+θ₁x。這些θ_i被稱爲模型參數。而咱們要作的就是如何選擇這兩個參數值θ₀和θ₁。選擇不一樣的θ₀和θ₁，咱們會獲得不一樣的假設函數（以下圖）。

    在線性迴歸中，咱們有一個訓練集，咱們要得出θ₀和θ₁這兩個參數值，來得出假設函數所表示的直線，這個直線要儘可能地與這些數據點很好的擬合，也許以下圖這條直線同樣。

                                            

    那麼，咱們怎麼得出θ₀和θ₁的值呢？怎麼使得出的直線很好地擬合數據呢？

    咱們的想法是：咱們要選擇輸入x時咱們預測的值最接近該樣本對應的y值的參數θ₀和θ₁。因此，在咱們的訓練集中咱們會獲得必定數量的樣本。在以前的例子中，咱們知道x表示賣出那所房子並知道這所房子的實際賣出價格。因此咱們要儘可能選擇參數值使得咱們可以合理準確預測y的值。

    在線性迴歸中，咱們要解決的是一個最小化的問題。因此我要寫出關於θ₀和θ₁的最小化，並且我但願h(x)-y這個式子的值要儘可能小，即我要作的事情就是儘可能減小假設輸出的價格與房子真實的價格之間的差的平方。

    我想要作的事是對i=1到i=m的樣本，將對假設進行預測獲得的結果減去實際價格所獲得的差的平方相加（即Σ(h_θ(xⁱ)-yⁱ)²）。也就是預測值和實際值的差的平方偏差和或者說預測價格和。我但願儘可能減小這個值。實際上咱們考慮的是(1/m)Σ(h_θ(xⁱ)-yⁱ)²即平均偏差。前面這些只是爲了是數學更直白一些，所以對這個求和值的二分之一求最小值。

    實際上，咱們的目標是求出θ₀和θ₁的值使(1/2m)Σ(h_θ(xⁱ)-yⁱ)²最小。所以，咱們線性迴歸的代價函數爲J(θ₀,θ₁)=(1/2m)Σ(h_θ(xⁱ)-yⁱ)²。咱們想要作的就是關於θ₀和θ₁對函數J(θ₀，θ₁)求最小值。

    代價函數也被稱爲平方偏差函數，有時也被稱爲平方偏差代價函數。事實上咱們之因此要求出偏差的平方和，是由於偏差平方代價函數對大多數問題，特別是迴歸問題都是一個合理的選擇。