相對熵——KL散度

信息熵反應了一個系統的有序化程度，一個系統越是有序，那麼它的信息熵就越低，反之就越高。 熵的定義： 如果一個隨機變量的可能取值爲，對應的概率爲，則隨機變量的熵定義爲              相對熵的定義：    相對熵又稱互熵，交叉熵，鑑別信息，Kullback熵，Kullback-Leible散度（即KL散度）等。設和是取值的兩個概率概率分佈，則對的相對熵爲                 

>>阅读原文<<