ID3 算法

1)信息熵：  假如一個隨機變量的取值爲，每一種取到的概率分別是，那麼    的熵定義爲                      意思是一個變量的變化情況可能越多，那麼它攜帶的信息量就越大，信息熵值越大，該系統越不穩定，存在的不定因素就越多。      對於分類系統來說，類別是變量，它的取值是，而每一個類別出現的概率分別是                      而這裏的就是類別的總數，此時分

>>阅读原文<<