KL散度(Kullback-Leibler Divergence)

今天開始來說相對熵，咱們知道信息熵反應了一個系統的有序化程度，一個系統越是有序，那麼它的信息熵就越低，反之就越高。下面是熵的定義函數   若是一個隨機變量的可能取值爲，對應的機率爲，則隨機變學習 量的熵定義爲編碼                  有了信息熵的定義，接下來開始學習相對熵。spa 熵是隨機變量不肯定性的度量，不肯定性越大，熵就越大，若是是常量，就是零。不肯定性度量的本質就是信息量的指

>>阅读原文<<