利用TensorRT對深度學習進行加速

關於本文章的最新更新請查看:oldpan博客 前言 TensorRT是什麼,TensorRT是英偉達公司出品的高性能的推斷C++庫,專門應用於邊緣設備的推斷,TensorRT可以將我們訓練好的模型分解再進行融合,融合後的模型具有高度的集合度。例如卷積層和激活層進行融合後,計算速度可以就進行提升。當然,TensorRT遠遠不止這個: 我們平時所見到了深度學習落地技術:模型量化、動態內存優化以及其他的
相關文章
相關標籤/搜索