TensorRT深度學習推理框架介紹

一.  產生背景python        深度學習的發展帶動了一批深度學習框架，caffe、tensorflow、pytorch等，對於計算量龐大的CNN，效率一直是你們所關注的，接觸過深度網絡壓縮的同窗應該知道網絡壓縮最關鍵的兩個思路，剪枝和量化。網絡        TensorRT就是量化，將FP32位權值數據優化爲 FP16 或者 INT8，而推理精度不發生明顯的下降。框架        

>>阅读原文<<