集成學習總結

1 基本概念

• 集成學習的主要思路是先經過必定的規則生成多個學習器，再採用某種集成策略進行組合，最後綜合判斷輸出最終結果。通常而言，一般所說的集成學習中的多個學習器都是同質的"弱學習器"。基於該弱學習器，經過樣本集擾動、輸入特徵擾動、輸出表示擾動、算法參數擾動等方式生成多個學習器，進行集成後得到一個精度較好的"強學習器"。
• 目前集成學習算法大多源於bagging、boosting、stacking三種思想。

2 bagging

• 一種提升分類模型的方法。
  • (1) 從訓練集\(S\)中有放回的隨機選取數據集\(M\)\((∣M∣ < ∣S∣)\);
  • (2) 生成一個分類模型\(C\);
  • (3) 重複以上步驟\(m\)次，獲得\(m\)個分類模型\(C_1,C_2,...,C_m\);
  • (4)對於分類問題，每個模型投票決定，少數服從多數原則;
  • (5)對於迴歸問題，取平均值。

• 注意：這種抽樣的方式會致使有的樣本取不到，大約有\(\lim_{n \to \infty}(1-\frac{1}{n})^n\) = \(36.8%\)的樣本取不到，這部分可用來作測試集。

• 優勢: 經過減小方差來提升預測結果。

• 缺點: 失去了模型的簡單性。

2.1 Random Forest

• 是一種基於樹模型的bagging算法改進的模型。假定數據集中有\(M\)個特徵和 \(N\)個觀測值。每個樹有放回的隨機抽出\(N\)個觀測值\(m\)(\(m=M\)或者\(m=logM\))個特徵。把每個單一決策樹的結果綜合起來。

• 優勢:
  • (1) 減小了模型方差，提升了預測準確性。
  • (2) 不須要給樹作剪枝。
  • (3) 在大規模數據集，尤爲是特徵較多的狀況下，依然能夠保持高效率。
  • (4) 不用作特徵選擇，而且能夠給出特徵變量重要性的排序估計。
• 缺點：
  • (1) 隨機森林已經被證實在某些噪音較大的分類或迴歸問題上會過擬合
  • (2) 對於有不一樣取值的屬性的數據，取值劃分較多的屬性會對隨機森林產生更大的影響，因此隨機森林在這種數據上產出的屬性權值是不可信的。

3 boosting

• 每一輪根據上一輪的分類結果動態調整每一個樣本在分類器中的權重，訓練獲得k個弱分類器，他們都有各自的權重，經過加權組合的方式獲得最終的分類結果(綜合全部的基模型預測結果)。主要算法有AdaBoost/GBDT/Xgboost/LightGBM。

3.1 Adboost

• 給定數據集\(S\)，它包含\(n\)個元組\((X_1,y_1),(X_2,y_2),...,(X_n,y_n)(X_1,y_1), (X_2,y_2), ..., (X_n,y_n)\)，其中\(y_i\)是數據對象\(X_i\)的類標號。
• (1) 開始時，Adaboost對每一個訓練元組賦予相等的權重\(1/n\)。組合分類器包含\(T\)個基本分類器。
• (2) 針對第\(t\)個分類器\(M_t\)：
  • 首先，從S中的元組進行抽樣，造成大小爲\(n\)的訓練集\(S_t\)，此處抽樣方式爲有放回的抽樣，抽樣過程當中，每一個元組被選中的機會由它的權重決定；
  • 而後，根據\(S_t\)導出（訓練出）分類器\(M_t\)，使用\(S_t\)檢驗分類器\(M_t\)的分類偏差，並計算該分類器的「表決權」的權重；
  • 最後，訓練元組的權重根據分類器\(M_t\)的分類狀況調整。
  • 若是元組被錯誤分類，則它的權重增長。
  • 若是元組被正確分類，則它的權重減小。
  • 元組的權重反映元組被分類的困難程度——權重越高，被錯誤分類的可能性越高。而後，使用這些權重，爲下一輪分類器（下一個分類器）產生訓練樣本。
• 其基本的思想是，當創建分類器時，但願它更關注上一輪分類器（上一個分類器）錯誤分類的元組。整個分類過程當中，某些分類器對某些「困難」元組的分類效果可能比其餘分類器好。這樣，創建了一個互補的分類器系列。
• 用於二分類或多分類的應用場景。
• 優勢
  • (1) 很好的利用了弱分類器進行級聯。
  • (2)能夠將不一樣的分類算法做爲弱分類器。
  • (3)AdaBoost具備很高的精度。
  • (4) 相對於bagging算法和Random Forest算法，AdaBoost充分考慮的每一個分類器的權重。
• 缺點：
  • (1) AdaBoost迭代次數也就是弱分類器數目不太好設定，可使用交叉驗證來進行肯定。
  • (2) 數據不平衡致使分類精度降低。
  • (3) 訓練比較耗時，每次從新選擇當前分類器最好切分點。

3.2 GBDT

• 採用決策樹做爲弱分類器的Gradient Boosting算法被稱爲GBDT，有時又被稱爲MART（Multiple Additive Regression Tree）。GBDT中使用的決策樹一般爲CART。
• 用一個很簡單的例子來解釋一下GBDT訓練的過程，如圖下圖所示。模型的任務是預測一我的的年齡，訓練集只有A、B、C、D 4我的，他們的年齡分別是1四、1六、2四、26，特徵包括了 "月購物金額"、"上網時長"、"上網歷史" 等。
• 下面開始訓練第一棵樹:
  • 訓練的過程跟傳統決策樹相同，簡單起見，咱們只進行一次分枝。訓練好第一棵樹後，求得每一個樣本預測值與真實值之間的殘差。
  • 能夠看到，A、B、C、D的殘差分別是−一、一、−一、1。
  • 這時咱們就用每一個樣本的殘差訓練下一棵樹，直到殘差收斂到某個閾值如下，或者樹的總數達到某個上限爲止。
    

• 因爲GBDT是利用殘差訓練的，在預測的過程當中，咱們也須要把全部樹的預測值加起來，獲得最終的預測結果。

• 優勢：
  • （1）預測階段的計算速度快，樹與樹之間可並行化計算。
  • （2）在分佈稠密的數據集上，泛化能力和表達能力都很好，這使得GBDT在Kaggle的衆多競賽中，常常名列榜首。
  • （3）採用決策樹做爲弱分類器使得GBDT模型具備較好的解釋性和魯棒性，可以自動發現特徵間的高階關係，而且也不須要對數據進行特殊的預處理如歸一化等。
• 缺點:
  • （1）GBDT在高維稀疏的數據集上，表現不如支持向量機或者神經網絡。
  • （2）GBDT在處理文本分類特徵問題上，相對其餘模型的優點不如它在處理數值特徵時明顯。
  • （3）訓練過程須要串行訓練，只能在決策樹內部採用一些局部並行的手段提升訓練速度。

3.3 Xgboost

• XGBoost是陳天奇等人開發的一個開源機器學習項目，高效地實現了GBDT算法並進行了算法和工程上的許多改進。
• 目標函數：
  \[L^{(t)} = \sum_{i=1}^{n}l(y_i, \hat{y}_i^{(t)}) + \Omega(f_t) \]
• 優勢：
  • (1)計算效率高，使用了二階導。
  • (2)有正則化，減小過擬合。
  • (3)列特徵抽樣減小過擬合，同時有利於並行計算。
• 缺點：
  • (1)每次迭代時都要遍歷整個數據集。
  • (2)內存佔用大。

3.4 GBDT與XGboost聯繫與區別

• (1) GBDT是機器學習算法，XGBoost是該算法的工程實現。
• (2) 在使用CART做爲基分類器時，XGBoost顯式地加入了正則項來控制模型的複雜度，有利於防止過擬合，從而提升模型的泛化能力。
• (3) GBDT在模型訓練時只使用了代價函數的一階導數信息，XGBoost對代價函數進行二階泰勒展開，能夠同時使用一階和二階導數。
• (4) 傳統的GBDT採用CART做爲基分類器，XGBoost支持多種類型的基分類器，好比線性分類器。
• (5) 傳統的GBDT在每輪迭代時使用所有的數據，XGBoost則採用了與隨機森林類似的策略，支持對數據進行採樣。
• (6) 傳統的GBDT沒有設計對缺失值進行處理，XGBoost可以自動學習出缺失值的處理策略。

3.5 LightGBM

• LightGBM也是一種基於決策樹的梯度提高算法，相比XGboost有作了許多改進。
  在樹分裂計算分裂特徵的增益時，xgboost 採用了預排序的方法來處理節點分裂，這樣計算的分裂點比較精確。可是，也形成了很大的時間開銷。爲了解決這個問題，Lightgbm 選擇了基於 histogram 的決策樹算法。相比於pre-sorted算法，histogram在內存消耗和計算代價上都有很多優點。
• Histogram算法簡單來講，就是先對特徵值進行裝箱處理，造成一個一個的bins。在Lightgbm中默認的#bins爲256（1個字節的能表示的長度，能夠設置）。具體以下：
  • (1) 把連續的浮點特徵值離散化成N個整數，構造一個寬度爲N的直方圖；對於分類特徵，則是每一種取值放入一個bin，且當取值的個數大於max_bin數時，會忽略那些不多出現的category值。
  • (2) 遍歷數據時，根據離散化後的值做爲索引在直方圖中累積統計量。
  • (3) 一次遍歷後，直方圖累積了須要的統計量，而後根據直方圖的離散值，遍歷尋找最優的分割點。
• Level-wise 和 Leaf-wise
  • 相對於xgboost的level—wise的生長策略，lightgbm使用了leaf-wise樹生長策略。因爲level-wise在分裂時，部分增益小的樹也獲得了增加，雖然容易控制偏差，可是分裂有時是不合理的，而lightgbm使用level-wise，只在增益大的樹上分裂生長，甚至對Feature f若是分裂無收益，那麼後續也將不會對f計算。體如今參數上，xgboost使用max_depth，而lightgbm使用num_leaves控制過擬合。
  • Level-wise過一次數據能夠同時分裂同一層的葉子，容易進行多線程優化，也好控制模型複雜度，不容易過擬合。但實際上Level-wise是一種低效的算法，由於它不加區分的對待同一層的葉子，帶來了不少不必的開銷，由於實際上不少葉子的分裂增益較低，不必進行搜索和分裂。
    
  • Leaf-wise則是一種更爲高效的策略，每次從當前全部葉子中，找到分裂增益最大的一個葉子，而後分裂，如此循環。所以同Level-wise相比，在分裂次數相同的狀況下，Leaf-wise能夠下降更多的偏差，獲得更好的精度。Leaf-wise的缺點是可能會長出比較深的決策樹，產生過擬合。所以LightGBM在Leaf-wise之上增長了一個最大深度的限制，在保證高效率的同時防止過擬合。
    

3.6 Xgboost與LightGBM對比

3.6.1 切分算法（切分點的選取）

• 佔用的內存更低，只保存特徵離散化後的值，而這個值通常用8位整型存儲就足夠了，內存消耗能夠下降爲原來的1/8。
• 下降了計算的代價：預排序算法每遍歷一個特徵值就須要計算一次分裂的增益，而直方圖算法只須要計算k次（k能夠認爲是常數），時間複雜度從O(#data#feature)優化到O(k#features)。(至關於LightGBM犧牲了一部分切分的精確性來提升切分的效率，實際應用中效果還不錯)
• 空間消耗大，須要保存數據的特徵值以及特徵排序的結果(好比排序後的索引，爲了後續快速計算分割點)，須要消耗兩倍於訓練數據的內存
• 時間上也有較大開銷，遍歷每一個分割點時都須要進行分裂增益的計算，消耗代價大
• 對cache優化不友好，在預排序後，特徵對梯度的訪問是一種隨機訪問，而且不一樣的特徵訪問的順序不同，沒法對cache進行優化。同時，在每一層長樹的時候，須要隨機訪問一個行索引到葉子索引的數組，而且不一樣特徵訪問的順序也不同，也會形成較大的cache miss。
• XGBoost使用的是pre-sorted算法（對全部特徵都按照特徵的數值進行預排序，基本思想是對全部特徵都按照特徵的數值進行預排序；而後在遍歷分割點的時候用O(#data)的代價找到一個特徵上的最好分割點最後，找到一個特徵的分割點後，將數據分裂成左右子節點。優勢是可以更精確的找到數據分隔點；但這種作法有如下缺點
• LightGBM使用的是histogram算法，基本思想是先把連續的浮點特徵值離散化成k個整數，同時構造一個寬度爲k的直方圖。在遍歷數據的時候，根據離散化後的值做爲索引在直方圖中累積統計量，當遍歷一次數據後，直方圖累積了須要的統計量，而後根據直方圖的離散值，遍歷尋找最優的分割點；優勢在於

3.6.2 決策樹生長策略

• XGBoost採用的是帶深度限制的level-wise生長策略，Level-wise過一次數據能夠可以同時分裂同一層的葉子，容易進行多線程優化，不容易過擬合；但不加區分的對待同一層的葉子，帶來了不少不必的開銷（由於實際上不少葉子的分裂增益較低，不必進行搜索和分裂）
• LightGBM採用leaf-wise生長策略，每次從當前全部葉子中找到分裂增益最大（通常也是數據量最大）的一個葉子，而後分裂，如此循環；但會生長出比較深的決策樹，產生過擬合（所以 LightGBM 在leaf-wise之上增長了一個最大深度的限制，在保證高效率的同時防止過擬合）。
• Histogram作差加速。一個容易觀察到的現象：一個葉子的直方圖能夠由它的父親節點的直方圖與它兄弟的直方圖作差獲得。一般構造直方圖，須要遍歷該葉子上的全部數據，但直方圖作差僅需遍歷直方圖的k個桶。利用這個方法，LightGBM能夠在構造一個葉子的直方圖後，能夠用很是微小的代價獲得它兄弟葉子的直方圖，在速度上能夠提高一倍。
• 直接支持類別特徵：LightGBM優化了對類別特徵的支持，能夠直接輸入類別特徵，不須要額外的0/1展開。並在決策樹算法上增長了類別特徵的決策規則。

3.6.3 分佈式訓練方法上(並行優化)

• 在特徵並行算法中，經過在本地保存所有數據避免對數據切分結果的通訊；
• 在數據並行中使用分散規約(Reducescatter)把直方圖合併的任務分攤到不一樣的機器，下降通訊和計算，並利用直方圖作差，進一步減小了一半的通訊量。基於投票的數據並行(ParallelVoting)則進一步優化數據並行中的通訊代價，使通訊代價變成常數級別。
• 特徵並行的主要思想是在不一樣機器在不一樣的特徵集合上分別尋找最優的分割點，而後在機器間同步最優的分割點。
• 數據並行則是讓不一樣的機器先在本地構造直方圖，而後進行全局的合併，最後在合併的直方圖上面尋找最優分割點。
• Cache命中率優化
• 基於直方圖的稀疏特徵優化
• DART(Dropout + GBDT)
• GOSS(Gradient-based One-Side Sampling):一種新的Bagging(row subsample)方法,前若干輪(1.0f /gbdtconfig->learning_rate)不Bagging;以後Bagging時, 採樣必定比例g(梯度)大的樣本。

4 stacking

• stacking的思想是將每一個基模型的輸出組合起來做爲一個特徵向量，從新進行訓練。能夠理解爲：將訓練好的全部基模型對整個訓練集進行預測，第j個基模型對第i個訓練樣本的預測值將做爲新的訓練集中第i個樣本的第j個特徵值，最後基於新的訓練集進行訓練。同理，預測的過程也要先通過全部基模型的預測造成新的測試集，最後再對測試集進行預測。
• 具體算法以下(爲方便理解我舉例說明)：
  • (1) 訓練集大小\(400\times10\)，400個樣本，每一個樣本10個特徵，（若是算上target有11列）。測試集大小爲\(120\times10\)。
  • (2) 首先對訓練集4折劃分:\(S_1\),\(S_2\),\(S_3\),\(S_4\),每一個\(S_i\)的大小都收是\(100\times10\)。模型\(M_1\)第一次用\(S_1\),\(S_2\),\(S_3\)訓練，用\(S_4\)預測獲得預測結果\(100\times1\)。重複訓練步驟，直到每個\(S_i\)都有對應的預測結果\(100\times1\)。合併全部預測結果獲得\(P_1\)\(400\times1\)。用\(M_1\)預測獲得原始測試集的預測結果\(T_1\)\(120\times1\)。
  • (3) 模型\(M_2\)用4折叫交叉獲得訓練集的預測結果：\(P_2\)\(400\times1\)；獲得測試集的預測結果：\(T_2\)\(120\times1\)。
  • (4) 模型\(M_3\)用4折叫交叉獲得訓練集的預測結果：\(P_3\)\(400\times1\)；獲得測試集的預測結果：\(T_3\)\(120\times1\)。
  • (5) 綜合(2)(3)(4)底層模型獲得的訓練集的預測結果\(P_1\)、\(P_2\)、\(P_3\)，獲得上層模型的訓練集\(P_{train}\)\(400\times3\)；獲得上層模型的測試集\(T_{test}\)\(120\times3\)。
  • (6) 用(5)獲得的訓練集和測試集進行上層模型的訓練。
• 優勢：學習了底層模型之間的關係

• 缺點：對於數據量要求比較大，由於要平衡第一層和第二層

  5 參考

• 《百面機器學習》
  
• https://zhuanlan.zhihu.com/p/26890738
• https://www.imooc.com/article/29530

• https://blog.csdn.net/anshuai_aw1/article/details/83040541