微軟讓訓練萬億參數AI模型的GPU需求從4000個減少到800個-1

微軟於近日發佈了DeepSpeed庫的更新版本，該庫引入了一種新方法來訓練包含數萬億個參數的AI模型，這種模型內部的變量可爲預測提供依據。微軟稱這種技術稱爲3D並行性，可以適應各種的工作負載需求，特別是爲功耗大的超大型模型平衡效率。具有數十億個參數的單個大型AI模型在一系列具有挑戰性的領域中取得了長足的進步。研究表明它們之所以表現出色，是因爲它們可以理解語言、語法、知識、概念和上下文的細微差別，使

>>阅读原文<<