基於TensorRT的神經網絡推理與加速

一. 引言node NVIDIA TensorRT是一種高性能神經網絡推理(Inference)引擎，用於在生產環境中部署深度學習應用程序，應用於圖像分類、分割和目標檢測等，可提供最大的推理吞吐量和效率。TensorRT是第一款可編程推理加速器，能加速現有和將來的網絡架構。TensorRT包含一個爲優化生產環境中部署的深度學習模型而建立的庫，可獲取通過訓練的神經網絡(一般使用32位或16位數據)，

>>阅读原文<<