通過half()把單精度float32轉爲半精度float16 超實用網絡訓練技巧 python

我在網上之前找了半天，也沒找到能簡潔明瞭地說怎麼做能實現轉半精度的，趁着弄清楚了，分享給大家。 我們都知道N卡早就支持半精度float16的運算了。跑深度學習的時候，在不苛求精度的前提下(大多數時候都是不需要的)，通過half()把單精度float32轉爲半精度float16，使得整個網絡調用的參數量直接砍掉一半，以便運行時間大大縮短。 方法： 我們知道把原在cpu運行的網絡放到gpu上運行，只需

>>阅读原文<<