阿裡妹導讀：近日，阿裡正式開源輕量級深度學習端側推理引擎“MNN”。
AI科學家賈揚清如此評價道：“與 Tensorflow、Caffe2 等同時覆寫訓練和推理的通用架構相比，MNN 更注重在推理時的加速和優化，解決在模型部署的階段的效率問題，進而在移動端更高效地實作模型背後的業務。這和伺服器端 TensorRT 等推理引擎的想法不謀而合。在大規模機器學習應用中，考慮到大規模的模型部署，機器學習的推理側計算量往往是訓練側計算量的十倍以上，是以推理側的優化尤其重要。”
MNN背後的技術架構如何設計？未來有哪些規劃？今天一起來深入了解。
1、MNN是什麼？
MNN 是一個輕量級的深度學習端側推理引擎，核心解決深度神經網絡模型在端側推理運作問題，涵蓋深度神經網絡模型的優化、轉換和推理。目前，MNN已經在手淘、手貓、優酷、聚劃算、UC、飛豬、千牛等 20 多個 App 中使用，覆寫直播、短視訊、搜尋推薦、商品圖像搜尋、互動營銷、權益發放、安全風控等場景，每天穩定運作上億次。此外，菜鳥自提櫃等 IoT 裝置中也有應用。在 2018 年雙十一購物節中，MNN 在天貓晚會笑臉紅包、掃一掃、明星猜拳大戰等場景中使用。
該項目已經在 Github 開源，開源位址：
https://github.com/alibaba/MNN2、MNN的優勢
MNN 負責加載網絡模型，推理預測傳回相關結果，整個推理過程可以分為模型的加載解析、計算圖的排程、在異構後端上高效運作。MNN 具有通用性、輕量性、高性能、易用性的特征：
通用性：
支援 Tensorflow、Caffe、ONNX 等主流模型格式，支援 CNN、RNN、GAN 等常用網絡；
支援 86 個 TensorflowOp、34 個 CaffeOp ；各計算裝置支援的 MNN Op 數：CPU 71 個，Metal 55 個，OpenCL 40 個，Vulkan 35 個；
支援 iOS 8.0+、Android 4.3+ 和具有POSIX接口的嵌入式裝置；
支援異構裝置混合計算，目前支援 CPU 和 GPU，可以動态導入 GPU Op 插件，替代 CPU Op 的實作；
輕量性：
針對端側裝置特點深度定制和裁剪，無任何依賴，可以友善地部署到移動裝置和各種嵌入式裝置中；
iOS 平台上，armv7+arm64 靜态庫大小 5MB 左右，連結生成可執行檔案增加大小 620KB 左右，metallib 檔案 600KB 左右；
Android 平台上，so 大小 400KB 左右，OpenCL 庫 400KB 左右，Vulkan 庫 400KB 左右；
高性能：
不依賴任何第三方計算庫，依靠大量手寫彙編實作核心運算，充分發揮 ARM CPU 的算力；
iOS 裝置上可以開啟 GPU 加速（Metal），支援iOS 8.0以上版本，常用模型上快于蘋果原生的 CoreML；
Android 上提供了 OpenCL、Vulkan、OpenGL 三套方案，盡可能多地滿足裝置需求，針對主流 GPU（Adreno和Mali）做了深度調優；
卷積、轉置卷積算法高效穩定，對于任意形狀的卷積均能高效運作，廣泛運用了 Winograd 卷積算法，對 3x3 -> 7x7 之類的對稱卷積有高效的實作；
針對 ARM v8.2 的新架構額外作了優化，新裝置可利用半精度計算的特性進一步提速；
易用性：
完善的文檔和執行個體；
有高效的圖像處理子產品，覆寫常見的形變、轉換等需求，一般情況下，無需額外引入 libyuv 或 opencv 庫處理圖像；
支援回調機制，友善提取資料或者控制運作走向；
支援運作網絡模型中的部分路徑，或者指定 CPU 和 GPU 間并行運作；
3、MNN核心介紹
3.1 子產品設計
如上圖所示，MNN 可以分為 Converter 和 Interpreter 兩部分。
Converter 由 Frontends 和 Graph Optimize 構成。前者負責支援不同的訓練架構，MNN 目前支援 Tensorflow(Lite)、Caffe 和 ONNX；後者通過算子融合、算子替代、布局調整等方式優化圖。
Interpreter 由 Engine 和 Backends 構成。前者負責模型的加載、計算圖的排程；後者包含各計算裝置下的記憶體配置設定、Op 實作。在 Engine 和 Backends 中，MNN應用了多種優化方案，包括在卷積和反卷積中應用 Winograd 算法、在矩陣乘法中應用 Strassen 算法、低精度計算、Neon 優化、手寫彙編、多線程優化、記憶體複用、異構計算等。
3.2 性能比較
采用業務常用的 MobileNet、SqueezeNet 和主流開源架構進行比較，結果如下圖：
MNN 相比于 NCNN、Mace、Tensorflow Lite、Caffe2 都有 20% 以上的優勢。我們其實更加聚焦在内部使用的業務模型優化上，針對人臉檢測等模型進行深入優化，iPhone6 可以達到單幀檢測 5ms 左右。
注：Mace、Tensorflow Lite、Caffe2 均使用截止 2019 年 3 月 1 日 GitHub 代碼倉庫的 master 分支；NCNN 由于編譯問題采用 20181228 Release 預編譯庫。
4、MNN的開源曆史
4.1 為什麼要做端側推理？
随着手機算力的不斷提升，以及深度學習的快速發展，特别是小網絡模型不斷成熟，原本在雲端執行的推理預測就可以轉移到端上來做。端智能即在端側部署運作 AI 算法，相比服務端智能，端智能具有低延時、兼顧資料隐私、節省雲端資源等優勢。目前端智能正逐漸變為趨勢，從業界來看，它已經在 AI 攝像、視覺特效等場景發揮了巨大價值。
手淘作為電商的超級 App ，業務形态豐富，拍立淘、直播短視訊、互動營銷、試妝、個性化推薦搜尋等業務場景都有端智能訴求，結合端智能能力，可以給使用者帶來新的互動體驗，助力業務創新突破。
一般來說，端側深度學習的應用可以分成如下幾個階段：
模型訓練階段，主要解決模型訓練，利用标注資料訓練出對應的模型檔案。面向端側設計模型時，需要考慮模型大小和計算量；
模型壓縮階段，主要優化模型大小，可以通過剪枝、量化等手段降低模型大小，以便在端上使用；
模型部署階段，主要實作模型部署，包括模型管理和部署、運維監控等；
端側推理階段，主要完成模型推理，即加載模型，完成推理相關的所有計算；
由上可知，端側推理引擎是端智能應用的核心子產品，需要在有限算力、有限記憶體等限制下，高效地利用資源，快速完成推理。可以說，端側推理引擎實作的優劣，直接決定了算法模型能否在端側運作，決定了業務能否上線。是以，我們需要一個端側推理引擎，一個優秀的端側推理引擎。
4.2 為什麼要開源 MNN？
在 2017 年初，我們在開始引擎研發之前，重點調研了系統方案和開源方案，從通用性、輕量性、高性能、安全性等方面深入分。CoreML 是 Apple 的系統架構，MLKit 和 NNAPI 是 Android 的系統架構，系統架構最大的優勢是輕量性 —— 在包大小方面相對寬裕。而最大的劣勢是通用性，CoreML 需要 iOS 11+，MLKit 和NNAPI 需要 Android 8.1+，可以覆寫的機型非常有限，同時難以支援嵌入式裝置的使用場景。此外，系統架構支援的網絡類型、Op 類型都較少，可拓展性又較差，還未能充分利用裝置的算力，加之存在模型安全方面的問題。綜上種種，系統架構不是一個很好的選擇。開源方案中 Tensorflow Lite 宣而未發，Caffe 較成熟但不是面向端側場景設計和開發的，NCNN 則剛剛釋出還不夠成熟。總的來說，我們找不到一套面向不同訓練架構，不同部署環境，簡單高效安全的端側推理引擎。
是以，我們希望提供面向不同業務算法場景，不同訓練架構，不同部署環境的簡單、高效、安全的端側推理引擎 MNN 。能夠抹平 Android 和 iOS 的差異，碎片裝置之間的差異，不同訓練架構的差異，實作快速的在端側部署運作，并且能夠根據業務模型進行 OP 靈活添加和 CPU/GPU 等異構裝置深入性能優化。
随着時間推移，NCNN、Tensorflow Lite、Mace、Anakin 等逐漸更新和開源，給與我們很好的輸入和借鑒。我們随着業務需求也在不斷疊代和優化，并且經曆了雙十一考驗，已經相對成熟和完善，是以開源給社群，希望給應用和 IoT 開發者貢獻我們的力量。
5、應用場景
目前，MNN 已經在手淘、貓客、優酷、聚劃算、UC、飛豬、千牛等20+集團App中內建，在拍立淘、直播短視訊、互動營銷、實人認證、試妝、搜尋推薦等場景使用，每天穩定運作上億次。2018年雙十一購物節中，MNN 也在貓晚笑臉紅包、掃一掃明星猜拳大戰等場景中使用。
拍立淘是在手淘裡面的一個圖像搜尋和識别産品，從14年首次上線經過不斷疊代發展目前已經成長為 UV 超過千萬的應用。其中的技術也在不斷疊代更新，從最早的拍照上傳圖檔雲端識别，演進到目前在端上做物體識别和摳圖再上傳雲端識别，有效地提升了使用者體驗同時節省了服務端計算成本。針對一些簡單的物體分類萬物識别和 logo 識别，目前也已經支援直接通過端上的模型進行實時識别。
笑臉紅包是18年雙十一貓晚開場的第一個節目，這個玩法是基于實時人臉檢測和表情識别能力做的，相比之前各種通過螢幕觸控的互動玩法，這個活動通過攝像頭實時人臉檢測算法實作從傳統觸控互動玩法到自然互動玩法的跨越，給使用者帶來新的使用者體驗。
集五福是19年春節的活動，也是手淘第一次通過掃年貨的方式加入到這個活動中來。通過掃一掃商品識别能力，識别紅色年貨，除了福卡之外，還能得到羽絨被、五糧液、茅台、帝王蟹等實物大獎和貓超、天貓精靈等無門檻優惠券，讓家裡的年貨變成下金蛋的“母雞”。
6、Roadmap
我們計劃每兩個月 Release 一個穩定版本。目前規劃如下：
模型優化方面：
1.完善 Converter 圖優化
2.完善對量化的支援，增加對稀疏的支援
排程優化方面：
1.增加模型 flops 統計
2.針對裝置硬體特性動态排程運作政策
計算優化：
1.現有 Backend 持續優化（CPU/OpenGL/OpenCL/Vulkan/Metal）
2.優化 Arm v8.2 Backend，支援量化模型
3.使用 NNAPI，增加 NPU Backend
4.應用快速矩陣乘法、Winograd 算法優化性能
其他：
1.文檔和示例
2.完善 test、benchmark 相關工具
3.支援更多 Op