在模型評估過程中，有哪些主要的驗證方法，他們的優缺點是什麼？在自助法的採樣過程中，對Ｎ個樣本進行Ｎ次自助採樣，當Ｎ區域無窮大時最終有多少個數據從未被選擇過？

Ｈｏｌｄｏｕｔ檢驗： Ｈｏｌｄｏｔ檢驗是最簡單也是最直接的驗證方法，它將原始的樣本集合隨機劃分成訓練集和驗證集２部分。 比方說，對於一個點擊率預測模型，我們把樣本按照７０％－３０％的比例分成２部分，７０％的樣本用於模型訓練。３０％用於模型驗證，包括繪製ＲＯＣ曲線，計算精確率和召回率等指標來評估模型性能。 ｈｏｌｄｏｕｔ檢驗的缺點很明顯： 即在驗證集上計算出來的最後評估指標和原始分組有很大的關係。爲

>>阅读原文<<