引入本地PyTorch自動混合精度以在NVIDIA GPU上進行更快的訓練

默認情況下，大多數深度學習框架（包括PyTorch）都採用32位浮點（FP32）算法進行訓練。但是，對於許多深度學習模型而言，這對於獲得完全準確性不是必需的。2017年，NVIDIA研究人員開發了一種用於混合精度訓練的方法，該方法在訓練網絡時將單精度（FP32）與半精度（例如FP16）格式結合在一起，並使用相同的超參數實現了與FP32訓練相同的精度， NVIDIA GPU的其他性能優勢： 訓練時間

>>阅读原文<<