決策樹算法_基本思想

核心思想：數據集劃分，確定劃分條件，得出一類一類的數據子集。 決策樹學習的本質是從訓練數據集上歸納出一組分類規則，通常採用啓發式的方法，即局部最優。通常分爲三個步驟：特徵選擇、決策樹生成和決策樹的修剪。 特徵選擇 特徵的選擇是要使經過劃分後，不同分類的數據儘量分開。 劃分後的分區數據越純，當前的分裂規則就越合適。 衡量一個節點內的數據純度有三種： 熵、基尼和方差。前兩種是針對分類，方差是針對迴歸。

>>阅读原文<<