信息熵、gini、信息增益

樣本集合的不確定性描述：信息熵、gini 信息熵在x=1處一階泰勒展開就是基尼指數 熵   gini f(x)=lnx=ln[1+(x-1)]=(x-1)-1/2(x-1)^2+1/3(x-1)^3-1/5(x-1)^5 忽略掉高次項，可以得到f(x)≈x-1。這樣 -pklogpk≈pk(1-pk)了，就更可以看到基尼指數與熵很近似了。 1、信息增益 2、gini 選擇特徵是選擇條件基尼係數小

>>阅读原文<<