【轉】通俗理解條件熵

前面我們總結了信息熵的概念通俗理解信息熵 - 知乎專欄,這次我們來理解一下條件熵。 我們首先知道信息熵是考慮該隨機變量的所有可能取值，即所有可能發生事件所帶來的信息量的期望。公式如下：   我們的條件熵的定義是：定義爲X給定條件下，Y的條件概率分佈的熵對X的數學期望   這個還是比較抽象，下面我們解釋一下： 設有隨機變量（X,Y），其聯合概率分佈爲    條件熵H（Y|X）表示在已知隨機變量X的條

>>阅读原文<<