信息增益與熵

  在信息論中，熵被用來衡量一個隨機變量出現的期望值。變量的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大，熵是整個系統的平均消息量。 信息熵是信息論中用於度量信息量的一個概念。一個系統越是有序，信息熵就越低；反之，一個系統越是混亂，信息熵就越高。所以，信息熵也可以說是系統有序化程度的一個度量。 他的計算公式是：H(x)=E[I(xi)]=E[ log(1/p(xi)) ]=-∑p(x

>>阅读原文<<