決策樹算法-ID3、C4.5和CART

算法對比 線性模型與決策樹模型的對比： 線性模型是將所有的特徵轉變爲概率，並對所有的特徵加權求和，從而對模型進行分類，只能找到線性分割，而決策樹模型是一個一個特徵的進行處理，對每一個特徵進行劃分，可以找到非線性分割；   決策樹算法ID3 ID3算法是一種貪心算法，用來構建決策樹，ID3起源於概念學習系統，以信息熵的下降速度爲選取測試屬性的標準；即在每個節點選取還尚未被用來劃分的具有最高信息增益的

>>阅读原文<<