決策樹中熵的理解

決策樹是用於分類的統計模型。web 熵的概念 熵是來衡量隨機變量的不肯定性的。Shannon entropy來定量化了這種不肯定性。 有如下公式 機器學習 H(x)=∑iP(xi)I(xi)=−∑iP(xi)logbP(xi) 接下來經過例子來講明。 好比投硬幣，正面和反面的機率都是1/2，在這種狀況下，一個比特就能夠來傳遞每一次的結果。投了4次硬幣，2次正面，2次反面。根據香農公式那麼熵就爲E1

>>阅读原文<<