詳解熵、最大熵、聯合熵和條件熵、相對熵以及互信息之間的關係

信息量的定義 某事件發生的概率小，則該事件的信息量大。 定義隨機變量 X X 的概率分佈爲 P(X) P ( X ) , X X 的信息量爲： h(X)=−log2P(X) h ( X ) = − log 2 P ( X ) . 熵 對隨機事件的信息量求期望，得到隨機變量X的熵： H(X)=−∑x∈XP(x)logP(x) 當對數底數是2時，單位是bit，當對數底數是e時，單位是nat(奈特)。同

>>阅读原文<<