理解決策樹信息增益（information gain）

問題引出：信息增量是什麼？幹什麼用？ 一顆決策樹中的非葉子節點有split函數，用於將當前所輸入的數據分到左子樹或者右子樹。我們希望每一個節點的split函數的性能最大化。這裏的性能是指把兩種不同的數據分開的能力，不涉及到算法的時間複雜度。但是，怎麼去衡量一個split函數的性能呢？這裏我們使用信息增益來衡量 I I I。如果 I I I越大，說明該節點的split函數將輸入數據分成兩份的性能越好

>>阅读原文<<