差分熵與Kullback–Leibler散度

一、差分熵（Differential Entropy） 我們已經在另外一篇文章（http://blog.csdn.net/baimafujinji/article/details/6469645）裏介紹過香農熵的概念。一個非常重要的前提是，我們所討論的香農熵是對離散型隨機變量X而言的。現在我們要把這一概念推廣到連續型隨機變量的情況，此時便會得到一個非常重要的概念——差分熵。 where S is

>>阅读原文<<