乾貨 | 混合精度訓練，提速，減內存

點擊藍字關注我們 掃碼關注我們 公衆號 : 計算機視覺戰隊 加入我們，大量論文代碼下載鏈接  簡述  增大網絡通常會提升準確性，但是也增加了內存和計算量。我們的方法可以使用半精度浮點數訓練網絡，同時不損失準確性，也不需要修改超參數。這近乎減少了一般的內存，在最新的GPU上還能加速運算。權重，激活和梯度都使用IEEE半精度格式。由於這個格式範圍比單精度小，我們提出了三種方法來避免重要信息的損失。首先

>>阅读原文<<