直觀理解-信息熵&KL Divergence

信息熵 簡介 任何信息都存在冗餘,冗餘大小與信息中每個符號的出現概率或者說不確定性有關。 信息熵用於解決對信息的量化度量問題,描述信源的不確定度。 香農第一次用數學語言闡明瞭概率與信息冗餘度的關係。 基本內容 通常一個信源發送出什麼符號是不確定的,衡量它可以根據其出現的概率來度量,概率大,出現的機會多,不確定性小;反之不確定性大。 不確定函數f應該 1、滿足概率P的減函數。 2、兩個獨立符號所產生
相關文章
相關標籤/搜索