信息、熵、信息增益

信息、熵、信息增益是在決策樹中用到的概念，在利用特徵進行分類時，會考慮特徵選取的順序。 1. 信息 香農： 信息是用來消除隨機不確定性的東西。 如果帶分類的事物集合可以劃分爲多個類別中，則某個類 x i x_i xi​的信息定義如下： I ( X = x i ) = − l o g 2 p ( x i ) I(X=x_i)=-log_2 p (x_i) I(X=xi​)=−log2​p(xi​)

>>阅读原文<<