《機器學習實戰》第三章決策樹學習筆記

       決策樹算法一般用來解決有監督的分類問題，本章主要講解決策樹中的 ID3 算法。html 1.工做原理        決策樹根據特徵對數據集進行劃分和分類，因此關鍵在於如何選擇特徵。這裏就用到了信息論的知識。在信息論與機率統計中，熵表示隨機變量不肯定性的度量。熵越大，隨機變量的不肯定性就越大。即在未分類以前，數據集是無序的，熵是最大的。而經過分類，能夠使數據集變得更加有序，熵減少。原始

>>阅读原文<<