機器學習實戰 -----決策樹代碼學習筆記（三）

ID3 算法是通過計算信息增益來進行類別的劃分。 信息增益g(D,A)=H(D)-H(D|A),熵與經驗條件熵的差。D是數據集，A是特徵 信息增益的理解： 對於待劃分的數據集D，其 entroy(前)是一定的，但是劃分之後的熵 entroy(後)是不定的，entroy(後)越小說明使用此特徵劃分得到的子集的不確定性越小（也就是純度越高），因此 entroy(前) - entroy(後)差異越大，說

>>阅读原文<<