機器學習（七）--------機器學習算法選擇

得到更多的訓練實例——一般是有效的，但代價較大，下面的方法也可能有效，可考慮
先採用下面的幾種方法。
1.嘗試減小特徵的數量
2.嘗試得到更多的特徵
3.嘗試增長多項式特徵
4.嘗試減小正則化程度𝜇

咱們須要使用交叉
驗證集來幫助選擇模型。
即：使用 60%的數據做爲訓練集，使用 20%的數據做爲交叉驗證集，使用 20%的數據
做爲測試集

模型選擇的方法爲：

1. 使用訓練集訓練出 10 個模型
2. 用 10 個模型分別對交叉驗證集計算得出交叉驗證偏差（代價函數的值）
3. 選取代價函數值最小的模型
4. 用步驟 3 中選出的模型對測試集計算得出推廣偏差（代價函數的值）

當你運行一個學習算法時，若是這個算法的表現不理想，那麼多半是出現兩種狀況：
要麼是誤差比較大，要麼是方差比較大。換句話說，出現的狀況要麼是欠擬合，要麼是過擬
合問題。

訓練集偏差和交叉驗證集偏差近似時：誤差/欠擬合
交叉驗證集偏差遠大於訓練集偏差時：方差/過擬合

1. 得到更多的訓練實例——解決高方差
2. 嘗試減小特徵的數量——解決高方差
3. 嘗試得到更多的特徵——解決高誤差
4. 嘗試增長多項式特徵——解決高誤差
5. 嘗試減小正則化程度 λ——解決高誤差
6. 嘗試增長正則化程度 λ——解決高方差