【熵系列-2】信息熵

【熵系列-2】信息熵 熵的定義： 根據維基的定義，熵的定義如下：熵是接收的每條消息中包含的信息的平均量，又被稱爲信息熵、信源熵、平均自信息量。直白地解釋就是信息中含的信息量的大小，其定義如下： H ( X ) = E [ I ( X ) ] = E ( − l n ( P ( X ) ) ) H(X) = E[I(X)] = E(-ln(P(X))) H(X)=E[I(X)]=E(−ln(P(X)

>>阅读原文<<