決策樹——（二）決策樹的生成與剪枝ID3,C4.5

1.基本概念 在正式介紹決策樹的生成算法前，我們先將之前的幾個概念梳理一下： 1.1 信息熵 設 X 是一個取有限個值的離散型隨機變量，其分佈概率爲 P(X=xi)=pi,i=1,2,...,n 則隨機變量 X 的熵定義爲 H(X)=−∑i=1npilogpi(1.1) 其中，若 pi=0 ，則定義 0log0=0 ；且通常 log 取2爲底和 e 爲底時，其熵的單位分別稱爲比特(bit)或納特(

>>阅读原文<<