直觀理解-信息熵&KL Divergence

信息熵 簡介 任何信息都存在冗餘，冗餘大小與信息中每個符號的出現概率或者說不確定性有關。 信息熵用於解決對信息的量化度量問題，描述信源的不確定度。 香農第一次用數學語言闡明瞭概率與信息冗餘度的關係。 基本內容 通常一個信源發送出什麼符號是不確定的，衡量它可以根據其出現的概率來度量，概率大，出現的機會多，不確定性小；反之不確定性大。 不確定函數f應該 1、滿足概率P的減函數。 2、兩個獨立符號所產生

>>阅读原文<<