決策樹，bagging，boosting

決策樹 構建步驟 1、計算當前決策節點的混亂程度。 2、列舉決策屬性，分別計算按每一個決策屬性決策的情況下熵值的大小。 3、計算信息增益：Entropy(決策之前)-Entropy(決策之後)，選擇信息增益最大的屬性作爲優先決策屬性。 4、遞歸循環上述步驟，直到決策樹達到停止生長的條件爲止，即每個葉子節點均只有一類數據。 集成學習總的來說可以分爲如下兩種： 1.基於Bagging, 代表算法：隨機

>>阅读原文<<