TensorRT Inference 加速原理

TensorRT加速原理簡述 TensorRT對於網絡結構進行了重構和優化，主要體現在以下幾個方面： (1) tensorRT通過解析網絡模型將網絡中無用的輸出層消除以減小計算。 (2)是對於網絡結構的垂直整合，即將目前主流神經網絡的Conv、BN、Relu三個層融合爲了一個層，例如將圖1所示的常見的Inception結構重構爲圖2所示的網絡結構。 圖1 圖2 (3)對於網絡的水平組合，水平組合是

>>阅读原文<<