信息熵、信息增益以及決策樹

什麼是信息熵？ 信息熵是信息論的範疇，利用概率論和統計的方法，因此信息熵也被稱爲基於概率分佈的信息熵。在介紹信息熵概念之前，先介紹一個基本的概念：區分能力。所謂區分能力是指把對象劃分到具體分組的能力，比如金庸武俠小說裏的英雄人物，每一個武俠人物都是性別、智商、情商、俠義、個性5個屬性，如何根據這個5個屬性來區分不同的武俠人物。如果某個屬性可以將被測試的人物儘可能分到相應的組，那麼可以認爲這個問題的

>>阅读原文<<