決策樹算法原理（三種最優屬性劃分方法）

大家好，今天，我們來介紹一下決策樹的原理。 決策樹算法在當今機器學習中經常用到，它既可以作爲分類算法，也可以作爲迴歸算法，下面我會和大家對這個算法中的一些理論進行一一介紹。 1.決策樹ID3算法 決策樹算法通俗來講，就是一種按照重要性（信息增益）層層分類的分類方法，此文章借西瓜書中的例子來爲大家講解 信息增益：「信息熵」是度量樣本集合純度最常用的一種指標，假設當前樣本集合D中第k類樣本所佔的比例爲

>>阅读原文<<