部署挑戰html
一、把訓練環境的深度學習網絡部署到嵌入式平臺作推理，會有些技術挑戰要解決。git
1）工業界有不少深度學習框架，如Caffe，TensorFlow，MXNet，Kaldi等等。github
2）訓練是在數據中心或服務器集羣。而推理是在嵌入式平臺（通過性能和耗電優化），這些平臺在軟件（編程語言，第三方依賴，內存消耗，支持的操做系統）和硬件（不一樣數據類型，電源有限）上都有很大限制，所以，不推薦甚至作不到用訓練框架來作推理。一個可選的方案是，使用針對特定硬件平臺優化過的專用推理API。編程
3）要支持愈來愈多的network和layer，還要保證轉換的network的準確率。服務器
部署流程網絡
Model Optimizer框架
轉換TensorFlow模型 編程語言
一、--log_level=DEBUG選項，能夠顯示更多錯誤信息，方便排查問題。函數
二、SavedModel格式的模型，要用--saved_model_dir選項，而不是--input_model，不然GraphDef函數加載模型會失敗。性能
三、TensorFlow模型的shape有些維度經常沒有定義完整（值爲-1），這時必須利用--input_shape選項來顯式指定shape，或者用-b選項來單獨指定batch維度。
四、
model server
使用gRPC接口，兼容TensorFlow serving API。
參考連接：
https://docs.openvinotoolkit.org/latest/_docs_IE_DG_Introduction.html