信息（information）、熵（entropy）、信息增益（information gain）、基尼指數（Gini index）的概念

from：http://www.cnblogs.com/fantasy01/p/4581803.html?utm_source=tuicool and參考：周志華《機器學習》 關於對信息、熵、信息增益是信息論裏的概念，是對數據處理的量化，這幾個概念主要是在決策樹裏用到的概念，因爲在利用特徵來分類的時候會對特徵選取順序的選擇，這幾個概念比較抽象，我也花了好長時間去理解(自己認爲的理解),廢話不多說，

>>阅读原文<<