條件熵

條件熵 1  信息熵以及引出條件熵 我們首先知道信息熵是考慮該隨機變量的所有可能取值，即所有可能發生事件所帶來的信息量的期望。公式如下： 我們的條件熵的定義是：定義爲X給定條件下，Y的條件概率分佈的熵對X的數學期望   這個還是比較抽象，下面我們解釋一下：   設有隨機變量（X,Y），其聯合概率分佈爲      條件熵H（Y|X）表示在已知隨機變量X的條件下隨機變量Y的不確定性。   隨機變量X給

>>阅读原文<<