秦曾昌人工智能課程---七、決策樹集成學習Tree Ensembles

秦曾昌人工智能課程---七、決策樹集成學習Tree Ensembles

1、總結

一句話總結：

其實機器模型減小variance的比較好的方式就是 多個模型取平均值

 

一、CART是什麼？

classification and regression tree

 

二、決策樹模型的本質是什麼？

divide the input space into a few regions

 

三、咱們如何用決策樹去作預測？

信息不一樣屬性按重要性依次下分：先劃分x1的範圍，這就造成了一個二叉樹分支，再劃分x2的範圍，就造成的決策樹。

葉子節點是分類，也是預測：預測的話就是不一樣範圍的(x1,x2)就對應了不一樣的y，這個y就是能夠用做預測的

葉子節點是預測值：決策樹，非葉子節點就是x1，x2的範圍，葉子節點就是預測的值y

 

四、CART tree 分割的一個例子？

|||-begin

x 1 | 2 3 4 | 5 6 7 8 9 10 y 0 | 1 2 3 | 4 5 6 7 8 9

|||-end

求不一樣分割的重要性：若是是1.5處分割，那麼loss(1.5)=每一部分的差值平方和的和，好比第二部分xi={1-9}，x平均數=5，(xi-5)^2

 

五、CART tree的本質是什麼？

二分·遞歸·分割樹：感受和線段樹的分割很是類似，只不過cart tree的葉子節點是y值

 

六、如何用cart tree作集成學習？

多個角色投票產生：每一個角色可能準確度不高，可是多個角色投票起來，準確率就高了不少（和屢次模型取平均值很類似）

 

七、用cart tree作集成學習中Bagging 和 Boosting的區別是什麼？

Bagging：每一個臭皮匠的能力都是同樣：每一個模型是單獨訓練，方便作分佈式，最後各個模型投票決定

Boosting：給臭皮匠分了等級：後一個模型的訓練依賴於前一個，給分錯的數據增長權限方便下一個模型分對，給訓練的模型增長權限爲了最後投票，最後也是各個模型投票決定

 

八、用cart tree作集成學習的好處是什麼？

去掉了噪音：即那些不着邊際的數據

 

 

 

 

2、內容在總結中