信息熵 交叉熵 相對熵 條件熵 互信息

文章目錄 信息熵 交叉熵 相對熵 條件熵 互信息 信息熵 信源所有可能發生情況的平均不確定性。 交叉熵 衡量兩個變量的概率分佈的差異性。 相對熵 用模型來衡量真實情況所需要的額外信息。 相對熵越小，模型就越接近真實分佈。 條件熵 表示在已知隨機變量Y的條件下隨機變量X的不確定性。 互信息 互信息(Mutual Information)可以被看成是一個隨機變量中包含的關於另一個隨機變量的信息量，或者

>>阅读原文<<