分類樹（信息熵與基尼指數）

文章目錄 一，決策樹的直觀理解 二，分類樹 2.1 信息熵 2.2 條件信息熵 示例 2.3 基尼指數（Gini不純度） 示例 一，決策樹的直觀理解 二，分類樹 2.1 信息熵 信息熵是用來衡量信息不確定性的指標，不確定性是一個事件出現不同結果的可能性。（越小越好） 計算如下： 其中：P(X=i)爲隨機變量x取值爲i的概率 舉個例子，如下： 可以看出，第一種的不確定性更高（信息熵較大） 2.2 條

>>阅读原文<<