《機器學習實戰》筆記之三——決策樹ID3算法

1.決策樹 K近鄰可以完成很多分類任務，但其無法給出數據的內在含義。 構造決策樹的基本思想是隨着樹深度的增加，熵也隨着下降。怎麼使熵下降的迅速，還能保證樹的高度不高。 本節將通過算法一步步地構造決策樹，並會涉及很多有趣的細節。首先我們討論數學上如何使用信息論劃分數據集（本節使用ID3算法劃分數據集），然後編寫代碼將理論應用到具體的數據集上，最後編寫代碼構建決策樹。 怎麼找到決定性的特徵，劃分最好的

>>阅读原文<<