微軟開源深度學習優化庫 DeepSpeed，可訓練 1000 億參數的模型

人工智能的最新趨勢是，更大的自然語言模型可以提供更好的準確性，但是由於成本、時間和代碼集成的障礙，較大的模型難以訓練。微軟日前開源了一個深度學習優化庫 DeepSpeed，通過提高規模、速度、可用性並降低成本，可以在當前一代的 GPU 集羣上訓練具有超過 1000 億個參數的深度學習模型，極大促進大型模型的訓練。同時，與最新技術相比，其系統性能可以提高 5 倍以上。 根據微軟的介紹，DeepSpe

>>阅读原文<<