決策樹算法

1.ID3算法     ID3算法是由Quinlan首先提出的，該算法是以信息論爲基礎，以信息熵和信息增益爲衡量標準，從而實現對數據的歸納分類。ID3算法是基於奧卡姆剃刀原理的，即用盡量用較少的東西做更多的事。     首先，ID3算法需要解決的問題是如何選擇特徵作爲劃分數據集的標準。在ID3算法中，選擇信息增益最大的屬性作爲當前的特徵對數據集分類。信息增益的概念將在下面介紹，通過不斷的選擇特徵對

>>阅读原文<<