TensorRT Inference 引擎簡介及加速原理簡介

1.TensorRT簡介 TensorRT是NVIDIA 推出的一款基於CUDA和cudnn的神經網絡推斷加速引擎，相比於一般的深度學習框架，在CPU或者GPU模式下其可提供10X乃至100X的加速，極大提高了深度學習模型在邊緣設備上的推斷速度。將TensorRT應用在NVIDIA 的TX1或者TX2上，可實現深度學習網絡的時時推薦，且不需在內存較少的嵌入式設備上部署任何深度學習框架。 2.Ten

>>阅读原文<<