深度學習工程實踐Tips（長期更新）

  1. 訓練階段加速         * 使用混合精度加速訓練                    推薦使用NVIDIA的APEX進行訓練加速，在2060S顯卡上，大約可以獲得一倍的綜合速度提升（顯存使用減少，可以適當增加batchsize, 提高速度）。精度下降幾乎察覺不到。APEX保存和加載的模型參數仍然是float32類型的，所以不用擔心預訓練模型重用的問題。使用起來也十分簡單：http

>>阅读原文<<