信息論-Shannon entropy-Kullback-Leibler (KL) divergence-cross-entropy

信息論是應用數學的一個分支,主要研究的是對一個信號包含信息的多少進行量化。 信息論的基本想法是一個不太可能的事件居然發生了,要比一個非常可能的事件發生,能提供更多的信息。消息說:‘‘今天早上太陽升起’’ 信息量是如此之少以至於沒有必要發送,但一條消息說:‘‘今天早上有日食’’ 信息量就很豐富。 熵由 (p − 1) log(1 − p) − p log p 給出。當 p 接近 0 時,分佈幾乎是確

>>阅读原文<<