ID3算法

1)信息熵： 假如一個隨機變量X的取值爲： 每一種取到的概率分別是： 那麼X的熵定義爲： 意思是一個變量的變化情況可能越多，那麼它攜帶的信息量就越大，信息熵值越大，該系統越不穩定，存在的不定因素就越多。 對於分類系統來說，類別C是變量，它的取值是： 而每一個類別出現的概率分別是 而這裏的就是類別的總數，此時分類系統的熵就可以表示爲 以上就是信息熵的定義，接下來介紹信息增益。 2)、信息增益： 信息

>>阅读原文<<