決策樹中的熵（一）

熵在決策樹中起到了絕對做用，貫穿決策樹的中心。你們都知道，決策樹最重要的就是最優屬性選擇，這個最優屬性選擇的標準就是依靠熵，無論是ID3，C4.5仍是CART算法都是基於熵來選擇最優屬性。多說一句，何爲最優屬性，通俗的講，屬性那麼多，依次按屬性劃分，哪一個或者哪些屬性是最重要的。對，就是最重要的概念（本人的理解）！！！最重要的先考慮。 通俗介紹決策樹中關於熵的理解，包括熵、條件熵、相對熵、互信息以

>>阅读原文<<