【機器學習筆記2】ID3決策樹學習

個人決策樹學習兩個難點： 1.如何度量樣本集合不確定度（純度）以安排節點。 2.如何實現信息的存儲和有效利用。 決策樹學習（ID3）的重點其實是分類的思路，但是很多博客都寫的很詳細了便不再叨述，大體就是通過統籌分類建立一個多叉樹，通過多個標籤屬性查找，來實現新樣本數據的分類工作。而解決最開始說的兩個問題只需明確一下幾點。 1.信息熵與信息增益 1.1  概念 （1）信息熵 熵描述得是數據的混亂程度

>>阅读原文<<