決策樹與隨機森林

決策樹 選擇決策特徵 在某個結點處，選擇合適（儘可能減小劃分數據集後的混亂度，也就是）的特徵進行決策，劃分數據集，生成子節點。以下如所示： 上文中提到，信息增益爲選擇特徵 A A A後的類別變量 X X X的不肯定性，所以咱們要最大化信息增益，減小不肯定性。 數據集合 D D D熵定義爲： H ( X ) = − ∑ c = 1 C P c log ⁡ P c H(X)=-\sum_{c=1}^{

>>阅读原文<<