機器學習之決策樹模型

在實現決策樹模型之前，先需要了解信息的熵，熵被定義爲信息的期望值，下面說明信息熵的計算方法：          假如事件發生的可能性包括A，B，C三類；那麼計算分類A的熵按照以下方式          L(A) = -log2P(A)          其中L(A)爲分類A的熵。P(A)爲事件發生後是A類的概率（可能性）。那麼所有類別的熵計算方式如下：          H = -∑P(xi)lo

>>阅读原文<<