信息熵

信息熵的公式 H ( X ) = − ∑ i = 1 m p i ⋅ log ⁡ 2 ( p i ) H(X)=-\sum_{i=1}^{m}p_i\cdot\log_2(p_i) H(X)=−i=1∑m​pi​⋅log2​(pi​) 首先 X X X 是一個隨機變量，隨機變量中某一個值的概率 p i ∈ [ 0 , 1 ] p_i\in[0,1] pi​∈[0,1]，所以 log ⁡ 2 ( p

>>阅读原文<<