信息熵、信息增益、條件熵基本概念及聯繫

1、 信息熵：H(X) 描述X攜帶的信息量。 信息量越大（值變化越多），則越不確定，越不容易被預測。        對於拋硬幣問題，每次有2種情況，信息熵爲1        對於投骰子問題，每次有6中情況，信息熵爲1.75        下面爲公式：                   　　其中log2(p)可以理解爲p這個需要用幾個bit位表示。如p(x1)=1/2, p(x2)=1/4, p(

>>阅读原文<<