信息熵、相對熵、交叉熵的理解

信息熵、相對熵、交叉熵 信息論與信息熵 相對熵(KL散度) 交叉熵 信息論與信息熵 提到這三個概念,就不得不提到信息論。。人們通常將香農於1948年10月發表於《貝爾系統技術學報》上的論文《A Mathematical Theory of Communication》(通信的數學理論)作爲現代信息論研究的開端。香農也被稱爲是「信息論之父」。其實熵這個概念是香農,從熱力學中借鑑過來的,熱力學中的熱熵
相關文章
相關標籤/搜索