決策樹模型之ID3算法、C4.5算法和CART算法

決策樹模型是一種常用的有監督的學習模型，其主要用來解決分類問題，但是也可用來解決迴歸問題。 信息熵和信息增益 我們先來了解兩個概念，信息熵與信息增益。 信息熵 信息熵用來表示事物的不確定性或不純性，信息熵越大，則表示該事物的不確定性或不純性越大。 信息熵的公式爲： H ( x ) = − ∑ i = 1 n p i l o g p i H(x)=-\sum_{i=1}^{n}p_ilogp_i H

>>阅读原文<<