NVIDIA TensorRT高性能深度學習推理

NVIDIA TensorRT高性能深度學習推理 NVIDIA TensorRT™ 是用於高性能深度學習推理的 SDK。此 SDK 包含深度學習推理優化器和運行時環境,可爲深度學習推理應用提供低延遲和高吞吐量。 在推理過程中,基於 TensorRT 的應用程序的執行速度可比 CPU 平臺的速度快 40 倍。藉助 TensorRT,您可以優化在所有主要框架中訓練的神經網絡模型,精確校正低精度,並最終
相關文章
相關標籤/搜索