TensorRT 安裝與使用及Pytorch的TensorRT部署

1. Tensorrt安裝 最近考慮對已經訓練好的Pytorch模型進行Float16優化，以達到部署時inference減少耗時，顯存開銷。但是不少博客寫的亂七八糟，我這裏整理一份本身安裝的過程。供你們參考。html 首先咱們須要查看本身服務器或者GPU是什麼版本的驅動，而後才能夠安裝對應版本的Tensorrtpython 1.1 查看cuda版本 [~]$ nvcc -V nvcc: NVID

>>阅读原文<<