決策樹和CART決策樹

首先簡單介紹下決策樹： 說到決策樹肯定離不開信息熵 什麼是信息熵（不要被這名字唬住，其實很簡單）？ 一個不太可能的時間居然發生了，要比一個非常可能的時間發生提供更多的信息。消息說：「今天早上太陽升起」。信息量是很少的，以至於沒有必要發送。但另一條消息說：「今天早上日食」。信息量就很豐富。 概率越大信息量就越少,與概率成反比 1p I(x)=logP(x)−1=−logP(x) 至於爲什麼取log可

>>阅读原文<<