論文閱讀-LightGBM: A Highly Efficient Gradient Boosting Decision Tree

GBDT是常用的機器學習算法,有少量高質量的實現算法,例如:XGBoost和pGBRT。當特徵維度很高或者數據量很大時,在實現的工程優化算法中,效率和可擴展仍然不能滿足得到滿意的結果。主要的原因是對於每個特徵,我們都需要去掃描整個數據集得到分割點,這個過程是非常耗時的。針對這個問題,我們提出了兩種解決方法:基於梯度的one-side採樣和互斥的特徵捆綁。對於GOSS,我們排除了一部分梯度值小的數據
相關文章
相關標籤/搜索