信息熵、條件熵、信息增益

信息增益描述了一個特徵帶來的信息量的多少，往往用於特徵選擇 信息增益 = 信息熵 - 條件熵 一個特徵往往會使一個隨機變量Y的信息量減少，減少的部分就是信息增益 一個例子 如圖所示，目標值是：playtennis，也就是是否打球 有四個特徵：天氣、溫度、溼度、風 信息熵 信息熵的公式： H(X)=−∑i=1np(xi)logp(xi) 以上圖爲例，設是否打球這一隨機變量爲Y，則 p(y=yes)=

>>阅读原文<<