TensorRT-優化-原理

TensorRT-優化-原理 一．優化方式 TentsorRT 優化方式： TensorRT優化方法主要有以下幾種方式，最主要的是前面兩種。 層間融合或張量融合（Layer & Tensor Fusion） 如下圖左側是GoogLeNetInception模塊的計算圖。這個結構中有很多層，在部署模型推理時，這每一層的運算操作都是由GPU完成的，但實際上是GPU通過啓動不同的CUDA（Compute

>>阅读原文<<