信息熵、相對熵、交叉熵的理解

信息熵、相對熵、交叉熵 信息論與信息熵 相對熵(KL散度) 交叉熵 信息論與信息熵 提到這三個概念，就不得不提到信息論。。人們通常將香農於1948年10月發表於《貝爾系統技術學報》上的論文《A Mathematical Theory of Communication》（通信的數學理論）作爲現代信息論研究的開端。香農也被稱爲是「信息論之父」。其實熵這個概念是香農，從熱力學中借鑑過來的，熱力學中的熱熵

>>阅读原文<<