經常使用並行計算算子原理及其在LightGBM中的實現

1、概述         在大規模機器學習中，須要應對巨大的訓練數據及計算量。當單機遇到性能瓶頸時須要經過多臺機器並行訓練來彌補計算能力與內存的不足。採用並行方式進行機器學習時，經常分爲模型並行與數據並行。模型並行是將模型拆分紅多個分片，由幾個計算節點分別持有，共同協做完成訓練，適用於模型規模很是大的情形。數據並行是將數據拆分爲不一樣的部分，分別存放在不一樣的計算節點上，同時每一個計算節點都維護一

>>阅读原文<<