深度學習的高性能計算技術（Horovod 分佈式）

深度學習的高性能計算技術 介紹 在過去幾年中，神經網絡已被證實是解決各類問題的極其有效的工具，而且在規模和計算要求方面迅速增加。 2012年，用於圖像識別的超級卷積網絡在物體識別方面取得了巨大進步，花了一週時間用兩個GPU，擁有6000萬個參數。 2016年，研究人員在語言建模方面取得了突破，該網絡擁有超過10億個參數，在32個GPU上訓練了三個星期。在百度研究所的硅谷AI實驗室內，2014年咱們

>>阅读原文<<