論文閱讀-LightGBM: A Highly Efficient Gradient Boosting Decision Tree

GBDT是常用的機器學習算法，有少量高質量的實現算法，例如：XGBoost和pGBRT。當特徵維度很高或者數據量很大時，在實現的工程優化算法中，效率和可擴展仍然不能滿足得到滿意的結果。主要的原因是對於每個特徵，我們都需要去掃描整個數據集得到分割點，這個過程是非常耗時的。針對這個問題，我們提出了兩種解決方法：基於梯度的one-side採樣和互斥的特徵捆綁。對於GOSS，我們排除了一部分梯度值小的數據

>>阅读原文<<