機器學習（二）：決策樹之ID3

文中的代碼和數據集下載地址： https://github.com/TimePickerWang/MachineLearningInActioncss 介紹決策樹以前先介紹兩個信息論裏的概念：熵和信息增益。 1.熵：表明了信息的混亂程度。也就是說熵越高，混合的數據越多，越無序。熵的計算方式以下（其中 p(xi) p ( x i ) 是樣本爲某一類別的機率。）： python H=−∑ni=1p(x

>>阅读原文<<