阿里開源!輕量級深度學習端側推理引擎 MNN

AI科學家賈揚清如此評價道:「與 Tensorflow、Caffe2 等同時覆蓋訓練和推理的通用框架相比,MNN 更注重在推理時的加速和優化,解決在模型部署的階段的效率問題,從而在移動端更高效地實現模型背後的業務。這和服務器端 TensorRT 等推理引擎的想法不謀而合。在大規模機器學習應用中,考慮到大規模的模型部署,機器學習的推理側計算量往往是訓練側計算量的十倍以上,所以推理側的優化尤其重要。」
相關文章
相關標籤/搜索