數據挖掘——分類——決策樹算法之ID3與C4.5原理解析

決策樹算法屬於數據挖掘中的分類中的一種方法，決策樹包含經典的ID3和C4.5算法。web ID3原理解析 ID3利用信息論中的信息熵和信息增益的概念 熵表徵物質的混亂程度，越混亂熵值越高，反之熵值越低。 在ID3方法中利用熵減思想，能夠簡單這麼理解： 選擇某一屬性做爲根節點，使得最終所分得的類別的混亂度最小，即類別之間清晰可辨。 信息增益：能夠簡單理解爲熵變，表徵某一屬性在整體數據集中的重要程度。

>>阅读原文<<