KL散度(Kullback-Leibler Divergence)

今天開始來講相對熵，我們知道信息熵反應了一個系統的有序化程度，一個系統越是有序，那麼它的信息熵就越低，反之就越高。下面是熵的定義   如果一個隨機變量的可能取值爲，對應的概率爲，則隨機變 量的熵定義爲                  有了信息熵的定義，接下來開始學習相對熵。 熵是隨機變量不確定性的度量，不確定性越大，熵就越大，如果是常量，就是零。不確定性度量的本質就是信息量的期望。均勻分佈是最不

>>阅读原文<<