決策樹-熵 理解和使用

熵開始是應用在物理學的，後來才應用到信息，等多個領域。git 熵值表示系統的不肯定性大小，熵值越大表示的系統越不穩定,公式以下:github p(xi) 是第i個元素的機率,  H(X)是整個系統的熵值算法      決策樹特色:spa         優勢:   計算複雜的不高，輸出結果易於理解，對中間的缺失值不敏感code        缺點:  可能會產生過分匹配的問題blog      

>>阅读原文<<