機器學習筆記4-多元梯度降低法

1.多特徵

2.多元特徵降低法

3.多元特徵降低法-特徵縮放

有多個變量來求全局最優解的時候，若是變量的取值範圍很是不同，會使得等高線圖變得扁平，好比圖中的房屋尺寸和房間數量，一個是0-2000另一個是1-5，會致使求全局最優解變得很慢，要花很長時間來計算。
因此這裏要把特徵的範圍縮小到比較相近的範圍，好比x1/2000，x2/5,這樣x1和x2都的範圍是[0,1],使等高線的圖看起來比較圓，會更快的找到全局最優解。

均值歸一化 mean normalization: μ1是x1的平均值，s1是x1的取值範圍，通常就是x1的最大值減去x1的最小值。上面就是使用特徵縮放的介紹，使用這個方法能夠大大減小收斂的數，提升計算的效率。

4.多元特徵降低法-學習率

梯度降低中的學習率α，該怎麼選擇是這一節要討論的問題。

當上一次的迭代出來的結果和當前迭代的結果差值不超過10的-3次冪，基本認爲是已經收斂了，沒有必要繼續迭代了。可是實際狀況中，有的算法 30次迭代就收斂了，有的可能須要三百萬次才能迭代收斂，取決於不一樣的場景和算法。這個迭代次數和何時中止是很難肯定的。

總結：

1.若是學習率過小，會致使收斂得很慢。
2.若是學習率太大，代價函數可能不是每次都會降低，可能不收斂。

因此爲了找到比較正確的學習率，最好畫出代價函數的圖形，根據圖形來判斷學習率的選擇。吳恩達老師每次使用3倍的增長學習率，會找到最大和最小的學習率，最後找到的值多是比最大的學習率稍微小一點的值。

5.特徵和多項式迴歸

像上圖中的例子，若是對線性方程很熟悉就會想到用平方根的函數來擬合。因此多項式的迴歸沒有固定的方法，熟悉以後能夠用各類方式來擬合出方程。

#6.正規方程（區別於迭代方法的直接解法） 正規方程：x的轉置乘以x的結果的逆，乘以x的轉置，乘以y就能夠獲得θ的值。(沒有講述怎麼得來的這個方程，計算就完事了) 正規方程不須要使用特徵縮放，能夠直接經過計算得出結果。

正規方程和梯度降低的優缺點對比：

1.正規方程優勢在於不用選擇學習率，不須要迭代計算。缺點在於沒法進行n太大的狀況的計算，由於正規方程時間複雜度是O(n^3)，因此複雜度過高了，計算耗時很長，通常當n的值大於一萬就不要用正規方程了。 2.梯度降低的優勢在於能夠計算很大的n的狀況，並且工做得也特別好，可是肯定是要選擇一個學習率阿爾法，並且須要不停的迭代計算。

7.正規方程（在矩陣不可逆的狀況下的解法）

矩陣通常不會出現不可逆的狀況，若是真的出現了可使用如下的方式來解決： 1.檢查參數是否是有固定關係的特徵，好比x1是平方米，x2是平方英尺，那麼這兩個的函數只有固定的換算關係的，可能會致使正規方程不可逆，這時候要檢查特徵去掉重複的 2.若是有很是多個特徵，致使矩陣不可逆，要刪除一些特徵在計算