KL散度

學習KL散度主要是因爲無監督學習的變分自編碼器用到了這方面的知識。 熵和編碼長度 http://www.cnblogs.com/frombeijingwithlove/p/5931750.html 源自知乎的一個答案 信息論中，熵代表着根據信息的概率分佈對信息編碼所需要的最短平均編碼長度。 舉個簡單的例子來理解一下這件事情：假設有個考試作弊團伙，需要連續不斷地向外傳遞4選1單選題的答案。直接傳遞A

>>阅读原文<<