信息論知識：互信息、交叉熵、KL散度

信息論的基本想法是一個不太可能的事件居然發生了，要比一個非常可能的事件發生，能提供更多的信息。消息說：‘‘今天早上太陽升起’’ 信息量是如此之少以至於沒有必要發送，但一條消息說：‘‘今天早上有日食’’ 信息量就很豐富。 我們想要通過這種基本想法來量化信息。定義三個性質 非常可能發生的事件信息量要比較少，並且極端情況下，確保能夠發生的事件應該沒有信息量。 較不可能發生的事件具有更高的信息量。 獨立事

>>阅读原文<<