谷歌新研究對神經網絡數據並行性提出質疑

在訓練神經網絡時，並行計算和模型並行是很常用的方法，以最大限度地利用有限的算力。然而，谷歌的一項新研究表明，數據並行並不一定總能加快模型訓練速度。這是爲什麼呢？ 過去十年多中，神經網絡已經在各種預測任務中實現了最先進的結果，包括圖像分類、機器翻譯和語音識別等。這些成果的取得至少部分應該歸功於軟硬件的改進加速了神經網絡訓練。更快的訓練速度直接使得模型質量顯著提高，可以處理更多的訓練數據，也讓研究人員

>>阅读原文<<