決策樹梳理

信息論基礎 信息 這個是熵和信息增益的基礎概念，是對一個抽象事物的命名，無論用不用‘信息’來命名這種抽象事物，或者用其他名稱來命名這種抽象事物，這種抽象事物是客觀存在的。如果帶分類的事物集合可以劃分爲多個類別當中，則某個類（xi）的信息（量）定義如下： I(x)用來表示隨機變量的信息，p(xi)指是當xi發生時的概率。當事件xi發生的概率p(xi)很小，但是它卻發生了，那這個信息量相當大，比如買彩

>>阅读原文<<