常用並行計算算子原理及其在LightGBM中的實現

一、概述         在大規模機器學習中，需要應對巨大的訓練數據及計算量。當單機遇到性能瓶頸時需要通過多臺機器並行訓練來彌補計算能力與內存的不足。採用並行方式進行機器學習時，常常分爲模型並行與數據並行。模型並行是將模型拆分成多個分片，由幾個計算節點分別持有，共同協作完成訓練，適用於模型規模非常大的情形。數據並行是將數據拆分爲不同的部分，分別存放在不同的計算節點上，同時每個計算節點都維護一個相同

>>阅读原文<<