機器學習數學基礎——熵和條件熵

熵：若是一個隨機變量X的可能取值爲X={x1,x2,…xn},每種取值的機率爲p(xi),那麼這個隨機事件的發生，可以給咱們帶來的信息量的指望（熵）是：spa   信息熵實際上是一個隨機變量信息量的數學指望。3d 條件熵：在X給定條件下，Y的條件機率分佈的熵 對X的數學指望：blog   因爲是相對於X的數學指望，所以前面要乘以一個p(x)。事件   舉個例子：有以下一個數據集，咱們問，在長相（帥

>>阅读原文<<