決策樹（二）|特徵選擇 + 信息熵 +信息增益 / 信息增益比 | 《統計學習方法》學習筆記（十八）

特徵選擇 1. 特徵選擇問題 特徵選擇在於選取對訓練數據具有分類能力的特徵。這樣可以提高決策樹學習的效率。如果利用一個特徵進行分類的結果與隨機分類的結果沒有很大差別，則稱這個特徵是沒有分類能力的。經驗上扔掉這樣的特徵對決策樹學習的精度影響不大。通常特徵選擇的準則是信息增益或信息增益比。 特徵選擇時決定是決定用哪個特徵來劃分特徵空間。 **例1：**15個樣本組成的貸款申請訓練數據。貸款申請人有4個

>>阅读原文<<