機器學習學習筆記：決策樹歸納算法（ID3）

前言： 決策樹是機器學習分類方法中的一個重要的算法。決策樹分類一般只適用於小數據。 什麼是決策樹？ 決策樹是一個類似於流程圖的樹結構：其中，每個內部結點表示在一個屬性上的測試，每個分支代表一個屬性的輸出，而每個樹葉結點代表類或類結點。樹的最頂層是根節點。（根節點的選取十分重要） 熵（entropy）概念： 信息熵計算是決策樹中的計算環節。 1948年，香農提出了「信息熵」的概念。 一條信息的信息量

>>阅读原文<<