深度學習模型推理速度緩慢緣由分析

碰到一個問題，在訓練好一個模型後，實際使用時，即只有前向推理過程，速度緩慢，大概1s能執行100次。之因此會認爲推理的速度變慢，主要緣由在於，在訓練模型時，會在訓練集和驗證集上，獲取算法的準確率，那麼就須要進行前向推理。在這裏，會有大概500,000個樣本，而只須要200s左右，大約2500/s。web 那麼爲何在實際進行推理時速度會變慢這麼多呢？算法 分析後發現，主要緣由有二：網絡 一、訓練模型

>>阅读原文<<