通俗理解決策樹算法中的信息增益

在決策樹算法的學習過程中，信息增益是特徵選擇的一個重要指標，它定義爲一個特徵能夠爲分類系統帶來多少信息，帶來的信息越多，說明該特徵越重要，相應的信息增益也就越大。 1   概念 我們前面說了，信息熵是代表隨機變量的複雜度（不確定度）通俗理解信息熵，條件熵代表在某一個條件下，隨機變量的複雜度（不確定度）通俗理解條件熵 而我們的信息增益恰好是：信息熵-條件熵。 換句話說，信息增益代表了在一個條件下，信

>>阅读原文<<