基於TensorRT的神經網絡推理與加速

一. 引言 NVIDIA TensorRT是一種高性能神經網絡推理(Inference)引擎，用於在生產環境中部署深度學習應用程序，應用於圖像分類、分割和目標檢測等，可提供最大的推理吞吐量和效率。TensorRT是第一款可編程推理加速器，能加速現有和未來的網絡架構。TensorRT包含一個爲優化生產環境中部署的深度學習模型而創建的庫，可獲取經過訓練的神經網絡(通常使用32位或16位數據)，並針對降

>>阅读原文<<