決策樹和CART決策樹

首先簡單介紹下決策樹： 說到決策樹確定離不開信息熵 什麼是信息熵（不要被這名字唬住，其實很簡單）？ 一個不太可能的時間竟然發生了，要比一個很是可能的時間發生提供更多的信息。消息說：「今天早上太陽升起」。信息量是不多的，以致於沒有必要發送。但另外一條消息說：「今天早上日食」。信息量就很豐富。 機率越大信息量就越少,與機率成反比 1p I(x)=logP(x)−1=−logP(x) 至於爲何取log能

>>阅读原文<<