超詳細的信息熵、信息增益、信息增益比、基尼係數

一、信息 在開始解釋信息熵和信息增益之前，我們先來解釋一下什麼是信息：能消除不確定性的內容才能叫信息，而告訴你一個想都不用想的事實，那不叫信息。 比如數據分析師的工作經常是要用數據中發現信息，有一天上班你告訴老大從數據中發現我們的用戶性別有男有女。。。（這不廢話嗎？）這不叫信息，但是如果你告訴老大女性用戶的登錄頻次、加購率，瀏覽商品數量遠高於男性，且年齡段在25歲~30歲的女性用戶消費金額最多，1

>>阅读原文<<