決策樹詳解(上)

文章目錄 基本概念 ID3 算法 C4.5 算法 決策樹的剪枝 決策樹是一種基本的分類與迴歸方法。決策樹的學習包含三個步驟:特徵選擇、決策樹的生成、決策樹的修剪。決策樹根據不同的特徵選擇原則分爲ID3算法、C4.5算法、CART算法。 基本概念 在介紹決策樹之前先來了解一些基本相關概念。 1、熵 熵是隨機變量不確定性的度量。設X是一個有限取值的離散隨機變量,其概率分佈爲: P ( X = x i
相關文章
相關標籤/搜索