AI平台-MNN【推理引擎】

1、MNN簡介

MNN 是一個輕量級的深度學習端側推理引擎，核心解決深度神經網絡模型在端側推理運作問題，涵蓋深度神經網絡模型的優化、轉換和推理。目前，MNN已經在手淘、手貓、優酷、聚劃算、UC、飛豬、千牛等 20 多個 App 中使用，覆寫直播、短視訊、搜尋推薦、商品圖像搜尋、互動營銷、權益發放、安全風控等場景，每天穩定運作上億次。此外，菜鳥自提櫃等 IoT 裝置中也有應用。在 2018 年雙十一購物節中，MNN 在天貓晚會笑臉紅包、掃一掃、明星猜拳大戰等場景中使用。

AI科學家賈揚清如此評價道：“與 Tensorflow、Caffe2 等同時覆寫訓練和推理的通用架構相比，MNN 更注重在推理時的加速和優化，解決在模型部署的階段的效率問題，進而在移動端更高效地實作模型背後的業務。這和伺服器端 TensorRT 等推理引擎的想法不謀而合。在大規模機器學習應用中，考慮到大規模的模型部署，機器學習的推理側計算量往往是訓練側計算量的十倍以上，是以推理側的優化尤其重要。”

開源位址 : https://github.com/alibaba/MNN

2、MNN價值

MNN 負責加載網絡模型，推理預測傳回相關結果，整個推理過程可以分為模型的加載解析、計算圖的排程、在異構後端上高效運作。MNN 具有通用性、輕量性、高性能、易用性的特征：

1. 通用性：

• 支援 Tensorflow、Caffe、ONNX 等主流模型格式，支援 CNN、RNN、GAN 等常用網絡；
• 支援 86 個 TensorflowOp、34 個 CaffeOp ；各計算裝置支援的 MNN Op 數：CPU 71 個，Metal 55 個，OpenCL 40 個，Vulkan 35 個；
• 支援 iOS 8.0+、Android 4.3+ 和具有POSIX接口的嵌入式裝置；
• 支援異構裝置混合計算，目前支援 CPU 和 GPU，可以動态導入 GPU Op 插件，替代 CPU Op 的實作；

2. 輕量性：

• 針對端側裝置特點深度定制和裁剪，無任何依賴，可以友善地部署到移動裝置和各種嵌入式裝置中；
• iOS 平台上，armv7+arm64 靜态庫大小 5MB 左右，連結生成可執行檔案增加大小 620KB 左右，metallib 檔案 600KB 左右；
• Android 平台上，so 大小 400KB 左右，OpenCL 庫 400KB 左右，Vulkan 庫 400KB 左右；

3.高性能：

• 不依賴任何第三方計算庫，依靠大量手寫彙編實作核心運算，充分發揮 ARM CPU 的算力；
• iOS 裝置上可以開啟 GPU 加速（Metal），支援iOS 8.0以上版本，常用模型上快于蘋果原生的 CoreML；
• Android 上提供了 OpenCL、Vulkan、OpenGL 三套方案，盡可能多地滿足裝置需求，針對主流 GPU（Adreno和Mali）做了深度調優；
• 卷積、轉置卷積算法高效穩定，對于任意形狀的卷積均能高效運作，廣泛運用了 Winograd 卷積算法，對 3x3 -> 7x7 之類的對稱卷積有高效的實作；
• 針對 ARM v8.2 的新架構額外作了優化，新裝置可利用半精度計算的特性進一步提速；

4. 易用性：

• 完善的文檔和執行個體；
• 有高效的圖像處理子產品，覆寫常見的形變、轉換等需求，一般情況下，無需額外引入 libyuv 或 opencv 庫處理圖像；
• 支援回調機制，友善提取資料或者控制運作走向；
• 支援運作網絡模型中的部分路徑，或者指定 CPU 和 GPU 間并行運作；

3、MNN核心介紹

3.1 子產品設計

如上圖所示，MNN 可以分為 Converter 和 Interpreter 兩部分。

Converter 由 Frontends 和 Graph Optimize 構成。前者負責支援不同的訓練架構，MNN 目前支援 Tensorflow(Lite)、Caffe 和 ONNX；後者通過算子融合、算子替代、布局調整等方式優化圖。

Interpreter 由 Engine 和 Backends 構成。前者負責模型的加載、計算圖的排程；後者包含各計算裝置下的記憶體配置設定、Op 實作。在 Engine 和 Backends 中，MNN應用了多種優化方案，包括在卷積和反卷積中應用 Winograd 算法、在矩陣乘法中應用 Strassen 算法、低精度計算、Neon 優化、手寫彙編、多線程優化、記憶體複用、異構計算等。

3.2 性能比較

采用業務常用的 MobileNet、SqueezeNet 和主流開源架構進行比較，結果如下圖：

MNN 相比于 NCNN、Mace、Tensorflow Lite、Caffe2 都有 20% 以上的優勢。我們其實更加聚焦在内部使用的業務模型優化上，針對人臉檢測等模型進行深入優化，iPhone6 可以達到單幀檢測 5ms 左右。

注：Mace、Tensorflow Lite、Caffe2 均使用截止 2019 年 3 月 1 日 GitHub 代碼倉庫的 master 分支；NCNN 由于編譯問題采用 20181228 Release 預編譯庫。

4、MNN的開源曆史

4.1 為什麼要做端側推理？

随着手機算力的不斷提升，以及深度學習的快速發展，特别是小網絡模型不斷成熟，原本在雲端執行的推理預測就可以轉移到端上來做。端智能即在端側部署運作 AI 算法，相比服務端智能，端智能具有低延時、兼顧資料隐私、節省雲端資源等優勢。目前端智能正逐漸變為趨勢，從業界來看，它已經在 AI 攝像、視覺特效等場景發揮了巨大價值。

手淘作為電商的超級 App ，業務形态豐富，拍立淘、直播短視訊、互動營銷、試妝、個性化推薦搜尋等業務場景都有端智能訴求，結合端智能能力，可以給使用者帶來新的互動體驗，助力業務創新突破。

一般來說，端側深度學習的應用可以分成如下幾個階段：

• 模型訓練階段，主要解決模型訓練，利用标注資料訓練出對應的模型檔案。面向端側設計模型時，需要考慮模型大小和計算量；
• 模型壓縮階段，主要優化模型大小，可以通過剪枝、量化等手段降低模型大小，以便在端上使用；
• 模型部署階段，主要實作模型部署，包括模型管理和部署、運維監控等；

• 端側推理階段，主要完成模型推理，即加載模型，完成推理相關的所有計算；

  由上可知，端側推理引擎是端智能應用的核心子產品，需要在有限算力、有限記憶體等限制下，高效地利用資源，快速完成推理。可以說，端側推理引擎實作的優劣，直接決定了算法模型能否在端側運作，決定了業務能否上線。是以，我們需要一個端側推理引擎，一個優秀的端側推理引擎。

---

5、MNN應用場景

MNN為提供面向不同業務算法場景，不同訓練架構，不同部署環境的簡單、高效、安全的端側推理引擎 MNN 。能夠抹平 Android 和 iOS 的差異，碎片裝置之間的差異，不同訓練架構的差異，實作快速的在端側部署運作，并且能夠根據業務模型進行 OP 靈活添加和 CPU/GPU 等異構裝置深入性能優化。

随着時間推移，NCNN、Tensorflow Lite、Mace、Anakin 等逐漸更新和開源，給與我們很好的輸入和借鑒。我們随着業務需求也在不斷疊代和優化，并且經曆了雙十一考驗，已經相對成熟和完善，是以開源給社群，希望給應用和 IoT 開發者貢獻我們的力量。目前，MNN 已經在手淘、貓客、優酷、聚劃算、UC、飛豬、千牛等20+集團App中內建，在拍立淘、直播短視訊、互動營銷、實人認證、試妝、搜尋推薦等場景使用，每天穩定運作上億次。2018年雙十一購物節中，MNN 也在貓晚笑臉紅包、掃一掃明星猜拳大戰等場景中使用。