數據倉庫與數據挖掘-決策樹-ID3算法 個人筆記

聲明：文中內容基於山東某高校數據挖掘課程的課件，本系列文章爲課程內容的個人總結以及筆記內容。 信息熵 信息熵標識離散隨機事件出現的概率，一個系統越是有序，信息熵就越低。反之，一個系統越混亂，它的信息熵就越高。 信息熵是系統有序化程度的一個度量。 信息增益 信息增益標識得知特徵X的信息後，而使得Y的不確定性減少的程度。 舉個例子： 構造一個決策樹： 1、訓練樣本的信息值 2、第一棵樹，計算樣本的信息

>>阅读原文<<