TVM 學習教程

OpenVINO 是intel針對intel的各硬件（CPU、Moviduis等）在 deployment 環節（inference）進行的性能優化的軟件；html

TensorRT 是NVIDIA針對NVIDIA GPU在 deployment 環節（inference）進行的性能優化的軟件；前端

deployment 指的是如何將深度學習的模型跑在各類硬件平臺上。git

TVM 出現的動機：由於深度學習中ASIC芯片的設計並非難事，但因爲深度學習中新硬件的出現，如TPU、NPU等，須要重寫這些芯片的上層整個軟件棧，好比指令性、主流的深度學習框架等，這是繁瑣複雜的工程。github

TVM Stack Goal：針對各類CPU、GPU和ASIC等深度學習加速器，開發全棧的深度學習編譯器（從硬件到最終的軟件框架）。性能優化

上層用戶的視角：TVM frontend 前端拿到不一樣框架的模型後，經過 TVM 編譯器編譯出 TVM 的模型，而後就能跑在不一樣的設備上。框架

爲何這是一件難事：（1）須要與手動優化庫進行競爭，TVM 採用的方案是自動優化的方法要比手動的還好（2）須要有前沿的全棧的優化研究 TensorFlow中的XLA主要是對TPU進行的優化，因此通常在GPU上是拼不過cuDNN的。 JITfrontend

TVM Overview 綜述

（1）High-level optimization：Computational Graph Optimization，包括 operater fusion（layer fusion、tensor fusion）、memory plan、data layout transform (nchw/nhwc等哪一種是最優)等，但圖優化須要針對每一種硬件、不一樣的data layout、不一樣的數據精度、線程模型等都進行優化操做，但這是至關繁瑣的事，因此出現了第二層和第三層。機器學習

（2）Tensor Expression Language：主要作的事是描述tensor的計算，使得計算可使用特殊的操做，好比AVX、TPU指令等。解決不一樣硬件的差別。ide

（3）Schedule Optimization Space：整理和總結目前全部的手動優化方案，並放入這個能夠供 TVM 進行調度的優化庫中。解決data layout、數據精度、線程模型等問題。因此這個搜索空間就包括了全部的手動優化方案，但這個方案的體量是很龐大的，如 1 billion。如何在這個龐大的優化庫中搜索到最優的實現，就出現了第四層。爲何機器優化的方法會比人手動優化的更快？由於機器能夠嘗試全部的優化方案，而人的優化時間是有限的，不能嘗試不少的優化方法。post

（4）AutoTVM，Optimize Tensor Operators using Learning：最大的問題是不可能將龐大的優化方法都試一遍，因此經過機器學習的方式，一開始須要將你的模型放在目標設備上進行測試跑分，而後經過優化空間中不一樣的優化方法對這個模型進行優化後，再次在設備上跑分，獲得了優化方法與優化結果的數據，並由此創建一個cost model，用於評估優化方法與優化結果之間的關係，因此最終能夠從這個模型中獲得最優的優化方法。目前能夠查看 AutoTVM API 獲得 TVM 的優化方法。最後是模型針對的硬件，如何集成入TVM？ TVM RPC：經過遠程調用的方式，將你的模型部署到遠程目標板或集羣上，進行遠程調試，如手機。

（5）VTA：開源的硬件加速器棧，包括VTA JIT runtime（實時生成的指令能與進行TVM通訊）、VTA ISA、VTA Micro-Architecture以及各硬件，如FPGA等。查看 tvm 的 discusss 和 roadmap

當前的TVM只支持inference，在今天2019年9月以後會加入training的相關。

TVM Overview 綜述

Step 1：TVM 視頻介紹

Step 2：研讀 TVM 論文

Step 3：瞭解 TVM 官網中能夠學習的資料

Step 4：上手 TVM Code

Step 5：TVM 其餘相關資料