通俗易懂的信息熵與信息增益（IE, Information Entropy; IG, Information Gain）

信息熵與信息增益（IE, Information Entropy; IG, Information Gain） 信息增益是機器學習中特徵選擇的關鍵指標，而學習信息增益前，需要先了解信息熵和條件熵這兩個重要概念。 信息熵（信息量）   信息熵的意思就是一個變量i（就是這裏的類別）可能的變化越多（只和值的種類多少以及發生概率有關，反而跟變量具體的取值沒有任何關係），它攜帶的信息量就越大（因爲是相加累計

>>阅读原文<<