機器學習第八課(決策樹)

Entropy 做決策樹就是建立一個entropy不斷下降的樹(但是如果entropy下降的太厲害會有可能過擬合) ID3  Information gain(選擇entropy下降最快的) C4.5  Gain ratio CART Gini index(Gini係數可以看做爲熵的一階近似) ID3算法： 以信息增益爲準則選擇信息增益最大的屬性。 缺點：1）信息增益對可取值數目較多的屬性有所偏好

>>阅读原文<<