分類算法-----決策樹（ID3）算法原理和Python實現

參考Python數據分析與挖掘實戰算法 1 ID3算法的基本原理 ID3算法基於信息熵來選擇最佳的測試屬性。他選擇當前樣本集中具備最大信息增益值的屬性作爲測試屬性，用信息增益值度量不肯定性：信息增益越大不肯定性越小。所以ID3算法在每一個非葉子節點選擇信息增益最大的屬性最爲測試屬性，這樣能夠獲得當前狀況下最純的分析，從而獲得較小的決策樹。機器學習 顯然E（A）越小，Gain（A）的值越大，說明選擇

>>阅读原文<<