組隊學習三：決策樹算法梳理

一、信息論基礎 1.熵：信息熵代表的是隨機變量或整個系統的不確定性，熵越大，隨機變量或系統的不確定性就越大。即描述的是有關事件 X X X的所有可能結果的自信息期望值： H ( X ) = − ∑ i = 1 n p i l o g p i H(X)=-\sum\limits_{i=1}^{n}p_{i}logp_{i} H(X)=−i=1∑n​pi​logpi​ 其中n代表事件 X X X的所有

>>阅读原文<<