機器學習-筆記6

 前面打了一坨字。。。。。被網頁搞掉了，傷心ing

 我就撿重要的說。。。。傷心ing

 1.corss validation（交叉驗證）和test（驗證）的區別，由於andrew的視頻裏講的有些模糊，後來baidu了一些資料加深了理解。cross validation比較好的方法是k-折交叉驗證：將訓練樣本集隨機地分紅k個互不相交的子集，每一個折的大小大體相等。利用k-1個訓練子集，對給定的一組參數創建迴歸模型，利用剩下的最後一個子集的MSE評估參數的性能。根據以上過程重複K次，所以每一個子集都有機會進行測試，根據k次迭代後獲得的MSE平均值來估計指望泛化偏差，最後選擇一組最優的參數。test就比較單純。有一個說法是cv是與假設相關的，test是不相關的。

2.bias和variance的區別，這個要說清楚不大可能，可是你能夠很容易地區別它，high bias就是說選擇的假設模型離真實假設太遠，high variance就是假設過於複雜。high bias容易欠擬合，high variance容易過分擬合。下面是解決兩種狀況的一些方法彙總

 

兩個圖說明兩者區別：（high bias）

 

 

（high variance）

 

3.error analysis：（不必定都有用）

4.error metrics：用來應對這種狀況：某種樣例機率很低（好比患×××），不到0.1%，那麼算法判斷全部人不患×××，他的準確度也極高。error metrics就是用來應對這種狀況的。

首先是幾個定義：對於一個假設，能夠獲得下面一個矩陣：

 

For reference:

• Accuracy = (true positives + true negatives) / (total examples)
• Precision = (true positives) / (true positives + false positives)
• Recall = (true positives) / (true positives + false negatives)
• F1  score = (2 * precision * recall) / (precision + recall)

F1  score 就是判斷算法優秀度的數字。

5.最後是本身學習的部分，andrew的open class裏沒有講遺傳算法相關的東西，因此須要本身之後學習。新借到的一本書還不錯，大概學了一些啓發搜索，比較有意思的是模擬退火，挺有意思的。加油！