決策樹理論基礎——信息和熵

什麼是信息和熵？ 上圖爲例，有這樣一個事件，一個體遇到一個A、B、C、D四個選項的選擇題，因爲每一個選項對的概率都是25%，就造成他的苦惱。 上圖中，當一個事件(宏觀態）有多種可能情況(微觀態)發生時，這種事件對個體而言具體哪種情況的不確定性叫熵。而能夠消除人對這事件的不確定性的事物叫信息。 熵和信息雖然在數量上是相等的，但意義相反。獲取信息意味着消除不確定性(熵)。 信息描述的是一個觀察者確定一

>>阅读原文<<