決策樹剪枝

一、決策樹的生成算法         基本的決策樹生成算法主要有ID3和C4.5, 它們生成樹的過程大致相似，ID3是採用的信息增益作爲特徵選擇的度量，而C4.5採用信息增益比。構建過程如下：         1.從根節點開始，計算所有可能的特徵的信息增益（互信息），選擇計算結果最大的特徵爲根節點。         2.根據算出的特徵建立子節點，執行第一步，直到所有特徵的信息增益（互信息）很小或者

>>阅读原文<<