機器學習 信息熵 條件熵 相對熵 交叉熵 基尼係數

機器學習 度量 信息熵 相對熵 交叉熵 基尼係數 信息熵 ​ 在信息論或概率統計中，用熵（entropy）度量隨機變量的不確定性。熵值越大，隨機變量的不確定性就越大。而這個東西與我們決策樹有什麼關係呢？其實我們就是希望決策樹的分支結點所包含的樣本儘可能屬於同一類別，即這個結點的「純度」越來越高，而信息熵（information entropy）是度量樣本集合純度最常用的一種指標。 ​ 設 X X

>>阅读原文<<