讓大規模深度學習訓練線性加速、性能無損，基於BMUF的Adam優化器並行化實踐...

導語：深度學習領域經典的 Adam 算法在大規模並行訓練的情況下會導致模型性能損失。爲了解決這一問題，微軟亞洲研究院採用 BMUF 框架對 Adam 算法進行了並行化，並在微軟大規模 OCR 和語音產品數據集上進行了測試，使其在並行訓練中幾乎實現了線性加速的同時，模型性能基本無損。 作者 | 陳凱、霍強 來源 | 微軟研究院AI頭條（ID: MSRAsia） 作爲一種自適應步長隨機梯度優化器，自2

>>阅读原文<<