信息增益

關於對信息、熵、信息增益是信息論裏的概念，是對數據處理的量化，這幾個概念主要是在決策樹裏用到的概念，因爲在利用特徵來分類的時候會對特徵選取順序的選擇，這幾個概念比較抽象，我也花了好長時間去理解(自己認爲的理解),廢話不多說，接下來開始對這幾個概念解釋，防止自己忘記的同時，望對其他人有個借鑑的作用，如有錯誤還請指出。 1、信息 這個是熵和信息增益的基礎概念，我覺得對於這個概念的理解更應該把他認爲是一

>>阅读原文<<