Training With Mixed Precision

Chapter 2. Mixed Precision Training 在NVIDIA DeepLearning SDK的cuda8與Pascal架構中已經在訓練時引入了低精度的能力。 混合精度在計算方法中結合了不同數據精度。 半精度(也被稱爲FP16)對比高精度的FP32與FP64降低了神經網絡的顯存佔用,使得我們可以訓練部署更大的網絡,並且FP16在數據轉換時比FP32或者FP64更節省時間。
相關文章
相關標籤/搜索