信息熵

某事件的發生概率越小，表示這個事件的不確定性越高，這種不確定性定義爲信息量（ amount of information），即概率越小，事件的信息量越大。通常用公式 h(x)=−log2x 表示事件 x 發生的信息量。 定義熵（ entropy）爲信息量的期望： H(x)=−∑x∈Xp(x)lnp(x) 熵是隨機變量不確定性的度量，不確定性越大，熵值越大，當隨機變量均勻分佈的時候熵值最大，當隨機變

>>阅读原文<<