決策樹----第一部分（熵）

建立決策樹的關鍵，即在當前狀態下選擇哪個屬性作爲分類依據。根據不同的目標函數，建立決策樹主要有一下三種算法。 ID3 （J. Ross Quinlan-1975）核心：信息熵          (信息增益算法) C4.5—ID3的改進，核心：信息增益比 CART（Breiman-1984），核心：基尼指數   下面是對熵的介紹 熵表示隨機變量的不確定性的度量，熵越大，隨機變量的不確定性就越大。 熵

>>阅读原文<<