機器學習算法---決策樹

一、決策樹的分類 在創建一棵決策樹的過程當中，一個很重要的問題就是：怎麼樣將樹幹分叉？ 由此問題，便引伸出了三種基本的決策樹：python ID3：利用數據集的信息增益來劃分，在介紹信息增益以前先來了解一下熵的概念。 對於一個數據集，其熵定義以下： H=−∑i=1np(xi)log2p(xi) 其中 p(xi) 爲 xi 爲某一類別的機率。 根據香農信息理論，信息熵表示了信息的不肯定度，當數據集呈

>>阅读原文<<