決策樹詳解（上）

文章目錄 基本概念 ID3 算法 C4.5 算法 決策樹的剪枝 決策樹是一種基本的分類與迴歸方法。決策樹的學習包含三個步驟：特徵選擇、決策樹的生成、決策樹的修剪。決策樹根據不同的特徵選擇原則分爲ID3算法、C4.5算法、CART算法。 基本概念 在介紹決策樹之前先來了解一些基本相關概念。 1、熵 熵是隨機變量不確定性的度量。設X是一個有限取值的離散隨機變量，其概率分佈爲： P ( X = x i

>>阅读原文<<