機器學習筆記——決策樹

一，基本流程 決策樹學習基本算法： 決策樹的生成是一個遞歸過程，有三種情形會導致遞歸返回： 1，當前結點包含的樣本全屬於同一類別，無需劃分； 2，當前屬性集爲空，或是所有樣本在所有屬性上取值相同，無法劃分；（後驗） 3，當前結點包含的樣本集合爲空，不能劃分。（先驗） 二，劃分選擇 決策樹學習的關鍵是如何選擇最優劃分屬性。 2.1 信息增益（ID3） 信息熵：假定當前樣本集合D中第k類樣本所佔的比例

>>阅读原文<<