信息熵和信息增益的簡單理解與計算

信息熵： 信息熵的概念很簡單，熵在信息論中代表隨機變量不確定的度量。 熵越大，數據的不確定性越高。 熵越小，數據的不確定性越低。 信息熵的公式： 下面的公式就是香農提出的信息熵的公式： H = − ∑ i = 1 k p i l o g ( p i ) H = - \sum_{i=1}^k p_i log(p_i) H=−i=1∑k​pi​log(pi​) 解釋一下： 假如一組數據有k類信息，那麼

>>阅读原文<<