周志華機器學習（西瓜書）讀書筆記之模型評估與選擇（三）

2.4 比較檢驗 問題： 希望比較的是泛化技能，實驗評估方法得到的是測試集上的性能’ 測試集上的性能與測試集本身的選擇有很大關係。大小、包含測試樣例的不同，都會影響測試結果。 很多學習算法有一定隨機性 採用統計假設檢驗 2.4.1 假設檢驗 學習器泛化錯誤率爲，測試錯誤率爲，在包含m個樣本的測試集上，泛化錯誤率爲的學習器被測得測試錯誤率爲的概率爲：，符合二項分佈，P在=時最大，二者距離變大時P減小

>>阅读原文<<