阿里開源！輕量級深度學習端側推理引擎 MNN

AI科學家賈揚清如此評價道：「與 Tensorflow、Caffe2 等同時覆蓋訓練和推理的通用框架相比，MNN 更注重在推理時的加速和優化，解決在模型部署的階段的效率問題，從而在移動端更高效地實現模型背後的業務。這和服務器端 TensorRT 等推理引擎的想法不謀而合。在大規模機器學習應用中，考慮到大規模的模型部署，機器學習的推理側計算量每每是訓練側計算量的十倍以上，因此推理側的優化尤爲重要。」

MNN背後的技術框架如何設計？將來有哪些規劃？今天一塊兒來深刻了解。

一、MNN是什麼？

MNN 是一個輕量級的深度學習端側推理引擎，核心解決深度神經網絡模型在端側推理運行問題，涵蓋深度神經網絡模型的優化、轉換和推理。目前，MNN已經在手淘、手貓、優酷、聚划算、UC、飛豬、千牛等 20 多個 App 中使用，覆蓋直播、短視頻、搜索推薦、商品圖像搜索、互動營銷、權益發放、安全風控等場景，天天穩定運行上億次。此外，菜鳥自提櫃等 IoT 設備中也有應用。在 2018 年雙十一購物節中，MNN 在天貓晚會笑臉紅包、掃一掃、明星猜拳大戰等場景中使用。

該項目已經在 Github 開源，關注「阿里技術」官方公衆號，並在對話框內回覆「MNN」，便可得到 Github 下載連接、瞭解更多詳情。

二、MNN的優點

MNN 負責加載網絡模型，推理預測返回相關結果，整個推理過程能夠分爲模型的加載解析、計算圖的調度、在異構後端上高效運行。MNN 具備通用性、輕量性、高性能、易用性的特徵：

通用性：

• 支持 Tensorflow、Caffe、ONNX 等主流模型格式，支持 CNN、RNN、GAN 等經常使用網絡；
• 支持 86 個 TensorflowOp、34 個 CaffeOp ；各計算設備支持的 MNN Op 數：CPU 71 個，Metal 55 個，OpenCL 40 個，Vulkan 35 個；
• 支持 iOS 8.0+、Android 4.3+ 和具備POSIX接口的嵌入式設備；
• 支持異構設備混合計算，目前支持 CPU 和 GPU，能夠動態導入 GPU Op 插件，替代 CPU Op 的實現；

輕量性：

• 針對端側設備特色深度定製和裁剪，無任何依賴，能夠方便地部署到移動設備和各類嵌入式設備中；
• iOS 平臺上，armv7+arm64 靜態庫大小 5MB 左右，連接生成可執行文件增長大小 620KB 左右，metallib 文件 600KB 左右；
• Android 平臺上，so 大小 400KB 左右，OpenCL 庫 400KB 左右，Vulkan 庫 400KB 左右；

高性能：

• 不依賴任何第三方計算庫，依靠大量手寫彙編實現核心運算，充分發揮 ARM CPU 的算力；
• iOS 設備上能夠開啓 GPU 加速（Metal），支持iOS 8.0以上版本，經常使用模型上快於蘋果原生的 CoreML；
• Android 上提供了 OpenCL、Vulkan、OpenGL 三套方案，儘量多地知足設備需求，針對主流 GPU（Adreno和Mali）作了深度調優；
• 卷積、轉置卷積算法高效穩定，對於任意形狀的卷積均能高效運行，普遍運用了 Winograd 卷積算法，對 3x3 -> 7x7 之類的對稱卷積有高效的實現；
• 針對 ARM v8.2 的新架構額外做了優化，新設備可利用半精度計算的特性進一步提速；

易用性：

• 完善的文檔和實例；
• 有高效的圖像處理模塊，覆蓋常見的形變、轉換等需求，通常狀況下，無需額外引入 libyuv 或 opencv 庫處理圖像；
• 支持回調機制，方便提取數據或者控制運行走向；
• 支持運行網絡模型中的部分路徑，或者指定 CPU 和 GPU 間並行運行；

三、MNN核心介紹

3.1 模塊設計

如上圖所示，MNN 能夠分爲 Converter 和 Interpreter 兩部分。

Converter 由 Frontends 和 Graph Optimize 構成。前者負責支持不一樣的訓練框架，MNN 當前支持 Tensorflow(Lite)、Caffe 和 ONNX；後者經過算子融合、算子替代、佈局調整等方式優化圖。

Interpreter 由 Engine 和 Backends 構成。前者負責模型的加載、計算圖的調度；後者包含各計算設備下的內存分配、Op 實現。在 Engine 和 Backends 中，MNN應用了多種優化方案，包括在卷積和反捲積中應用 Winograd 算法、在矩陣乘法中應用 Strassen 算法、低精度計算、Neon 優化、手寫彙編、多線程優化、內存複用、異構計算等。

3.2 性能比較

採用業務經常使用的 MobileNet、SqueezeNet 和主流開源框架進行比較，結果以下圖：

MNN 相比於 NCNN、Mace、Tensorflow Lite、Caffe2 都有 20% 以上的優點。咱們其實更加聚焦在內部使用的業務模型優化上，針對人臉檢測等模型進行深刻優化，iPhone6 能夠達到單幀檢測 5ms 左右。

注：Mace、Tensorflow Lite、Caffe2 均使用截止 2019 年 3 月 1 日 GitHub 代碼倉庫的 master 分支；NCNN 因爲編譯問題採用 20181228 Release 預編譯庫。

四、MNN的開源歷史

4.1 爲何要作端側推理？

隨着手機算力的不斷提高，以及深度學習的快速發展，特別是小網絡模型不斷成熟，本來在雲端執行的推理預測就能夠轉移到端上來作。端智能即在端側部署運行 AI 算法，相比服務端智能，端智能具備低延時、兼顧數據隱私、節省雲端資源等優點。目前端智能正逐漸變爲趨勢，從業界來看，它已經在 AI 攝像、視覺特效等場景發揮了巨大價值。

手淘做爲電商的超級 App ，業務形態豐富，拍立淘、直播短視頻、互動營銷、試妝、個性化推薦搜索等業務場景都有端智能訴求，結合端智能能力，能夠給用戶帶來新的交互體驗，助力業務創新突破。

通常來講，端側深度學習的應用能夠分紅以下幾個階段：

• 模型訓練階段，主要解決模型訓練，利用標註數據訓練出對應的模型文件。面向端側設計模型時，須要考慮模型大小和計算量；
• 模型壓縮階段，主要優化模型大小，能夠經過剪枝、量化等手段下降模型大小，以便在端上使用；
• 模型部署階段，主要實現模型部署，包括模型管理和部署、運維監控等；
• 端側推理階段，主要完成模型推理，即加載模型，完成推理相關的全部計算；

由上可知，端側推理引擎是端智能應用的核心模塊，須要在有限算力、有限內存等限制下，高效地利用資源，快速完成推理。能夠說，端側推理引擎實現的優劣，直接決定了算法模型可否在端側運行，決定了業務可否上線。所以，咱們須要一個端側推理引擎，一個優秀的端側推理引擎。

4.2 爲何要開源 MNN？

在 2017 年初，咱們在開始引擎研發以前，重點調研了系統方案和開源方案，從通用性、輕量性、高性能、安全性等方面深刻分。CoreML 是 Apple 的系統框架，MLKit 和 NNAPI 是 Android 的系統框架，系統框架最大的優點是輕量性 —— 在包大小方面相對寬裕。而最大的劣勢是通用性，CoreML 須要 iOS 11+，MLKit 和NNAPI 須要 Android 8.1+，能夠覆蓋的機型很是有限，同時難以支持嵌入式設備的使用場景。此外，系統框架支持的網絡類型、Op 類型都較少，可拓展性又較差，還未能充分利用設備的算力，加之存在模型安全方面的問題。綜上種種，系統框架不是一個很好的選擇。開源方案中 Tensorflow Lite 宣而未發，Caffe 較成熟但不是面向端側場景設計和開發的，NCNN 則剛剛發佈還不夠成熟。總的來講，咱們找不到一套面向不一樣訓練框架，不一樣部署環境，簡單高效安全的端側推理引擎。

所以，咱們但願提供面向不一樣業務算法場景，不一樣訓練框架，不一樣部署環境的簡單、高效、安全的端側推理引擎 MNN 。可以抹平 Android 和 iOS 的差別，碎片設備之間的差別，不一樣訓練框架的差別，實現快速的在端側部署運行，而且可以根據業務模型進行 OP 靈活添加和 CPU/GPU 等異構設備深刻性能優化。

隨着時間推移，NCNN、Tensorflow Lite、Mace、Anakin 等逐步升級和開源，給與咱們很好的輸入和借鑑。咱們隨着業務需求也在不斷迭代和優化，而且經歷了雙十一考驗，已經相對成熟和完善，因此開源給社區，但願給應用和 IoT 開發者貢獻咱們的力量。

五、應用場景

目前，MNN 已經在手淘、貓客、優酷、聚划算、UC、飛豬、千牛等20+集團App中集成，在拍立淘、直播短視頻、互動營銷、實人認證、試妝、搜索推薦等場景使用，天天穩定運行上億次。2018年雙十一購物節中，MNN 也在貓晚笑臉紅包、掃一掃明星猜拳大戰等場景中使用。

拍立淘是在手淘裏面的一個圖像搜索和識別產品，從14年首次上線通過不斷迭代發展目前已經成長爲 UV 超過千萬的應用。其中的技術也在不斷迭代更新，從最先的拍照上傳圖片雲端識別，演進到目前在端上作物體識別和摳圖再上傳雲端識別，有效地提高了用戶體驗同時節省了服務端計算成本。針對一些簡單的物體分類萬物識別和 logo 識別，目前也已經支持直接經過端上的模型進行實時識別。

笑臉紅包是18年雙十一貓晚開場的第一個節目，這個玩法是基於實時人臉檢測和表情識別能力作的，相比以前各類經過屏幕觸控的交互玩法，這個活動經過攝像頭實時人臉檢測算法實現從傳統觸控交互玩法到天然交互玩法的跨越，給用戶帶來新的用戶體驗。

集五福是19年春節的活動，也是手淘第一次經過掃年貨的方式加入到這個活動中來。經過掃一掃商品識別能力，識別紅色年貨，除了福卡以外，還能獲得羽絨被、五糧液、茅臺、帝王蟹等實物大獎和貓超、天貓精靈等無門檻優惠券，讓家裏的年貨變成下金蛋的「母雞」。

六、Roadmap

咱們計劃每兩個月 Release 一個穩定版本。當前規劃以下：

模型優化方面：

1. 完善 Converter 圖優化
2. 完善對量化的支持，增長對稀疏的支持

調度優化方面：

1. 增長模型 flops 統計
2. 針對設備硬件特性動態調度運行策略

計算優化：

1. 現有 Backend 持續優化（CPU/OpenGL/OpenCL/Vulkan/Metal）
2. 優化 Arm v8.2 Backend，支持量化模型
3. 使用 NNAPI，增長 NPU Backend
4. 應用快速矩陣乘法、Winograd 算法優化性能

其餘：

1. 文檔和示例
2. 完善 test、benchmark 相關工具
3. 支持更多 Op

原文連接 本文爲雲棲社區原創內容，未經容許不得轉載。