機器學習中的信息量與熵

  我們在學習機器學習算法的時候經常聽到自信息、互信息、條件熵、交叉熵等概念。下面爲我在學習過程中總結的信息量和熵的相關概念。 信息量：度量的是一個具體事件發生所帶來的信息 熵：在結果出來之前對可能產生的信息量的期望——考慮該隨機變量的所有可能取值，即所有可能發生事件所帶來的信息量的期望 目錄 自信息：I(X) 互信息：I(X;Y) 信息熵：H(X) 聯合熵：H(X,Y) 條件熵：H(X|Y) 交

>>阅读原文<<