決策樹筆記

一、決策樹 決策樹的定義：分類決策樹模型是一種描述對實例進行分類的樹形結構。決策樹由結點和有向邊組成。結點分爲內部結點和葉結點。內部結點表示一個特徵或屬性，葉節點表示一個類。 決策樹的學習主要包括三個步驟： 特徵選擇 決策樹的生成 決策樹的修剪 決策樹學習的常用算法有ID3、C4.5與CART。其中ID3特徵選擇的準則是信息增益，C4.5的是信息增益率，CART是基尼指數。 1、特徵選擇： 熵（e

>>阅读原文<<