LightGBM算法（轉載）

原文：https://blog.csdn.net/niaolianjiulin/article/details/76584785 

前者的含義是輕量級，GBM：梯度上升機。

相較於xgboost:

• 更快的訓練效率

• 低內存使用

• 更高的準確率

• 支持並行化學習

• 可處理大規模數據

xgboost的缺點：

每輪迭代時，都須要遍歷整個訓練數據屢次。若是把整個訓練數據裝進內存則會限制訓練數據的大小；若是不裝進內存，反覆地讀寫訓練數據又會消耗很是大的時間。

預排序方法（pre-sorted）：首先，空間消耗大。這樣的算法須要保存數據的特徵值，還保存了特徵排序的結果（例如排序後的索引，爲了後續快速的計算分割點），這裏須要消耗訓練數據兩倍的內存。其次時間上也有較大的開銷，在遍歷每個分割點的時候，都須要進行分裂增益的計算，消耗的代價大。

對cache優化不友好。在預排序後，特徵對梯度的訪問是一種隨機訪問，而且不一樣的特徵訪問的順序不同，沒法對cache進行優化。同時，在每一層長樹的時候，須要隨機訪問一個行索引到葉子索引的數組，而且不一樣特徵訪問的順序也不同，也會形成較大的cache miss。

LightGBM特色：

• 基於Histogram的決策樹算法

• 帶深度限制的Leaf-wise的葉子生長策略

• 直方圖作差加速

• 直接支持類別特徵(Categorical Feature)

• Cache命中率優化

• 基於直方圖的稀疏特徵優化

• 多線程優化

Histogram算法

直方圖算法的基本思想：先把連續的浮點特徵值離散化成k個整數，同時構造一個寬度爲k的直方圖。遍歷數據時，根據離散化後的值做爲索引在直方圖中累積統計量，當遍歷一次數據後，直方圖累積了須要的統計量，而後根據直方圖的離散值，遍歷尋找最優的分割點。

帶深度限制的Leaf-wise的葉子生長策略

Level-wise過一次數據能夠同時分裂同一層的葉子，容易進行多線程優化，也好控制模型複雜度，不容易過擬合。但實際上Level-wise是一種低效算法，由於它不加區分的對待同一層的葉子，帶來了不少不必的開銷，由於實際上不少葉子的分裂增益較低，不必進行搜索和分裂。

Leaf-wise則是一種更爲高效的策略：每次從當前全部葉子中，找到分裂增益最大的一個葉子，而後分裂，如此循環。所以同Level-wise相比，在分裂次數相同的狀況下，Leaf-wise能夠下降更多的偏差，獲得更好的精度。

Leaf-wise的缺點：可能會長出比較深的決策樹，產生過擬合。所以LightGBM在Leaf-wise之上增長了一個最大深度限制，在保證高效率的同時防止過擬合。

主要參數：

（1）num_leaves

LightGBM使用的是leaf-wise的算法，所以在調節樹的複雜程度時，使用的是num_leaves而不是max_depth。

大體換算關係：num_leaves = 2^(max_depth)

（2）樣本分佈非平衡數據集：能夠param[‘is_unbalance’]=’true’

（3）Bagging參數：bagging_fraction+bagging_freq（必須同時設置）、feature_fraction

（4）min_data_in_leaf、min_sum_hessian_in_leaf

model_lgb = lgb.LGBMRegressor(
        boosting_type='dart',n_estimators=15000,num_leaves=100,max_depth=12)
#                          n_estimators=39000,
#                          reg_lambda=0.01,
#                          max_depth=16,
#                          min_child_weight=0.001,
#                          reg_alpha=0.01,
#                          colsample_bytree=0.85,
#                          min_child_samples=24,
#                          max_bin = 500,
#                          num_leaves = 45)