相對熵（KL散度）

今天開始來說相對熵，咱們知道信息熵反應了一個系統的有序化程度，一個系統越是有序，那麼它的信息熵就越低，反git 之就越高。下面是熵的定義github   若是一個隨機變量的可能取值爲，對應的機率爲，則隨機變函數 量的熵定義爲學習                  有了信息熵的定義，接下來開始學習相對熵。編碼   Contentsspa      1. 相對熵的認識get    2. 相對熵的性質i

>>阅读原文<<