下面我們來定義條件熵

由上一篇介紹的信息熵，現在我們來引出條件熵的概念： 在給定X的條件下，Y的條件概率分佈的熵對於X的數學期望。 現在設有隨機變量(X,Y),其聯合概率分佈爲： 條件熵H(Y|X)表示在隨機變量X的條件下隨機變量Y的不確定性。 下面給出條件熵的公式推導： 注意，這個條件熵，不是指在給定某個數（某個變量爲某個值）的情況下，另一個變量的熵是多少，變量的不確定性是多少？而是期望！ 因爲條件熵中X也是一個變量

>>阅读原文<<