決策樹——機器學習(周志華)

決策樹 決策數學習的基本算法 劃分選擇 決策樹的關鍵在第8行，如何選擇最優劃分屬性，一般而言，隨着劃分過程不斷進行，我們希望決策樹的分支節點所包含的樣本儘可能屬於同一類別，即節點的「純度」越來越高。 信息增益 「信息熵」是度量樣本集合純度最常用的一種指標。 信息熵 E n t ( D ) = − ∑ k = 1 ∣ y ∣ p k l o g ( p k ) Ent(D) = -\sum_{k=1

>>阅读原文<<