fp16和fp32

float ： 1個符號位、8個指數位和23個尾數位   利用fp16 代替 fp32 優點： 1）TensorRT的FP16與FP32相比能有接近一倍的速度提升168，前提是GPU支持FP16（如最新的2070,2080,2080ti等） 2）減少顯存。   缺點： 1） 會造成溢出   因此，在日常使用過程中，常使用雙混合精度訓練。如圖： 此過程中的技術： 1） Loss scaling  ：

>>阅读原文<<