信息熵

自信息量   單符號離散信源的數學模型可用一維隨機變量 X X X的概率空間分佈來描述：   如果信源發出的消息 x i x_i xi​的概率爲 p ( x i ) p(x_i) p(xi​)，則它所能提供的自信息量爲： I ( x i ) = − l o g 2   p ( x i ) I(x_i)=-log_2\ p(x_i) I(xi​)=−log2​ p(xi​)含義： 信源發出信號前信宿

>>阅读原文<<