決策樹構建

信息熵： 生活中的所見所聞，都接觸到許許多多的信息，有的信息對我們有用，有的無用。如 「地球是自轉的」，這條信息對我們沒什麼用，因爲我們都知道，而且是確確實實是這樣的。香農用信息熵的概念來描述信源的不確定度，變量的不確定性越大，熵也就越大。   在某個事件中，如果不發生的概率爲0，那麼可以確定信息熵爲0，當發生的概率爲1時，屬於確定性事件，同樣信息熵爲0。只有當發生的概率爲0.5 時，不確定程度則

>>阅读原文<<