Tensor RT學習筆記（四）

構建階段： 在構建階段，TensorRT採用網絡定義，執行優化並生成推理引擎。 構建階段可能需要相當長的時間，尤其是在嵌入式平臺上運行時。 因此，典型的應用程序將構建一次引擎，然後將其序列化以備後用。 構建階段在層圖上執行以下優化：： 消除其輸出不使用卷積，偏差和ReLU操作融合的圖層 具有足夠相似參數和相同源張量的操作聚合（例如，GoogleNet v5初始模塊中的1x1卷積） 通過將層輸出指向

>>阅读原文<<