決策樹-剪枝算法（二）

ID3算法的的原理，它是以信息熵爲度量，用於決策樹節點的屬性選擇，每次優選信息量最多 的屬性，以構造一顆熵值下降最快的決策樹，到葉子節點處的熵值爲0，此時每個葉子節點對應的實例集中的實例屬於同一類。 理想的決策樹有三種： 1.葉子節點數最少 2.葉子加點深度最小 3.葉子節點數最少且葉子節點深度最小。 在實際的操作中還會設計到ID3算法的收斂，過度擬合等問題下面依次進行描述 1.ID算法收斂 2.

>>阅读原文<<