相對熵

轉載：相對熵（KL散度） 今天開始來講相對熵，我們知道信息熵反應了一個系統的有序化程度，一個系統越是有序，那麼它的信息熵就越低，反 之就越高。下面是熵的定義   如果一個隨機變量的可能取值爲，對應的概率爲，則隨機變 量的熵定義爲                  有了信息熵的定義，接下來開始學習相對熵。   Contents      1. 相對熵的認識    2. 相對熵的性質    3. 相對

>>阅读原文<<