決策樹purity/基尼係數/信息增益 Decision Trees

決策樹簡單描述 決策樹的樣子大概是這個樣子的： 選擇一個特徵作爲根節點，把這個特徵劃分成兩個孩子節點，每個孩子節點就是原始數據集的子集，然後再找一個特徵作爲劃分…… 劃分的好壞，如圖所示： 用純度Purity來衡量劃分的效果，如果劃分的好，那麼每一個子集都是某一類佔據大多數，如果每一個子集都是跟父節點一樣的狀態，那麼就是Low purity。 一個好的劃分要滿足下面兩個特點： 劃分是High pu

>>阅读原文<<