機器學習數學基礎——熵和條件熵

熵：如果一個隨機變量X的可能取值爲X={x1,x2,…xn},每種取值的概率爲p(xi),那麼這個隨機事件的發生，能夠給我們帶來的信息量的期望（熵）是：   信息熵其實是一個隨機變量信息量的數學期望。 條件熵：在X給定條件下，Y的條件概率分佈的熵 對X的數學期望：   由於是相對於X的數學期望，因此前面要乘以一個p(x)。   舉個例子：有如下一個數據集，我們問，在長相（帥與不帥）的條件下，女孩嫁

>>阅读原文<<