OpenAI披露最新研究成果：AI訓練如何擴展到更大規模？

我們發現，梯度噪聲尺度（gradient noise scale），作爲一種簡單的統計量，可以預測神經網絡訓練在諸多任務上的並行性。由於複雜的任務往往具有更強噪聲的梯度，因此增長的大批次規模可能在未來變得更加有用，也消除了AI系統進一步發展的一個潛在限制。更廣泛地說，這些結果表明，神經網絡訓練並不需要被看成一門神祕的藝術，而是可以得到嚴格的規範化和系統化。 在過去幾年內，AI研究人員採用數據並行化

>>阅读原文<<