聯合熵、條件熵、互信息、相對熵、交叉熵的詳解

本篇博客，我們將介紹聯合熵、條件熵、互信息、相對熵、交叉熵，如果對熵的概念還有不清楚的朋友，可以看一下這一篇博客，信息熵是什麼呢？ https://blog.csdn.net/ding_programmer/article/details/89785319 聯合熵 兩個離散隨機變量  和  的聯合概率分佈函數爲 ，則聯合熵 (Joint Entropy) 爲：   聯合熵實際上就是描述一對隨機變量

>>阅读原文<<