隨機森林及GBDT

隨機性主要體現在兩個方面：（1）訓練每棵樹時，從全部訓練樣本（樣本數爲N）中選取一個可能有重複的大小同樣爲N的數據集進行訓練（即bootstrap取樣）；（2）在每個節點，隨機選取所有特徵的一個子集，用來計算最佳分割方式。 優點 1、 在當前的很多數據集上，相對其他算法有着很大的優勢，表現良好 2、它能夠處理很高維度（feature很多）的數據，並且不用做特徵選擇         PS：特徵子集是

>>阅读原文<<