通過示例總結條件熵、交叉熵、相對熵、互信息

通過示例總結條件熵、交叉熵、相對熵、互信息 條件熵： H(Y|X)表示在已知隨機變量X的條件下，隨機變量Y的不確定性，H(Y|X)定義爲：   舉個例子：   有一堆西瓜，已知這堆西瓜的色澤，以及每種色澤對應好瓜和壞瓜的個數，如下所示，設X表示色澤，Y表示好瓜或者壞瓜。   則： 這個例子就是計算條件熵的一個過程，現在證明條件熵公式： 有很多書上的條件熵是這麼定義的，如果繼續化簡就可以得到我們上面

>>阅读原文<<