機器學習中的交叉熵

信息量    P(x)爲條件概率，意義爲表達一個事件發生的概率 ( P(x)∈[ 0 , 1 ] )   當小概率事件發生時，提供的信息量往往很大，或者說令人驚訝，例如中國男足勇奪世界盃冠軍因爲概率很小趨近於0，所以當該事件發生時提供的信息量就很大I趨近於∞，反之中國乒乓球包攬金牌，該事件概率很大趨向於1，那麼信息量I就很小趨近於0。 總結 信息量I ，表徵事件冷門程度，越冷門，信息量越大   補

>>阅读原文<<