--------點選螢幕右側或者螢幕底部“+訂閱”，關注我，随時分享機器智能最新行業動态及技術幹貨------------
MNN Kit是什麼？
MNN Kit 是阿裡巴巴把經過多次戰役實戰考驗的常用業務場景的模型進行封裝，得到的一系列簡單易用的 SDK。它底層的技術基石是推理引擎是 2019 年 5 月開源的 MNN。
急于嘗試的同學們：MNN Kit 使用文檔與開源的 Demo 工程的 GitHub 位址在此：
這些模型的背後，是淘系内部算法團隊多年的技術沉澱。比如，MNN Kit 的人臉檢測所使用的一系列模型，是由淘系專注于用戶端深度學習視覺算法的 PixelAI 團隊提供。
MNN Kit 的模型簡介
MNN Kit 目前開放了以下三種場景的 SDK：
- 人臉檢測
- 人像分割
- 手勢識别
人臉檢測是 MNNKit 提供的 AI 解決方案 SDK ，在端上提供了高精度、實時、功能豐富的人臉檢測能力，能滿足各種基于人臉檢測的業務場景。
它提供了人臉基本資訊（人臉的矩形坐标，106個關鍵點坐标，置信度），人臉三個次元（Yaw, Pitch, Roll）的歐拉角度，以及人臉在視訊流中的動作（眨眼，點頭等）。
106 個關鍵點的效果圖如下：
人臉檢測模型是一個非常通用的能力。在它的基礎上，我們可以做出各種有意思的玩法，比如美顔，人臉貼紙，換臉，人臉老化效果等。2018 年雙十一晚會現場的“笑臉大作戰”互動節目，讓明星互動 PK 笑臉數。它的背後是用人臉檢測結合笑臉檢測模型，實時識别出視訊流中的笑臉，并與 emoji 進行比對。
手勢檢測是 MNNKit 提供的移動端 AI 解決方案 SDK，在端上提供了實時的手勢檢測和識别能力，基于它應用可以拓展豐富的業務場景和玩法。比如，你可以基于手勢檢測的模型，開發出猜拳的遊戲；或者你可以基于它開發一款用受手勢控制 App ，可以讓使用者在手指不友善接觸螢幕的時候（比如吃飯時），可以遠端刷手機。你的腦洞是玩法應用的邊界。
人像分割是 MNNKit 提供的移動端 AI 解決方案 SDK ，在端上提供了實時的人像分割能力。它也是一個基礎的模型能力，可以應用到比如證件照自動摳圖，協助 PS 等場景。
效果圖如下：
極簡的接入流程
MNN Kit 誕生于阿裡巴巴淘系，一個需要針對諸如雙 11，雙 12 ，年貨節等大促活動快速上線業務的環境。簡單快速将模型整合到 app 裡，是 MNN Kit 的必備的特性。
MNN Kit 的基本 API 隻有三個：建立執行個體、推理、釋放執行個體。使用流程如下圖所示：
下面以 Android 中的人臉檢測為例，簡要介紹一下接入的代碼。
建立執行個體
我們異步建立 FaceDetector 執行個體，它會在主線程中回調 onSucceeded：
推理
我們從 Android Camera API 的 onPreviewFrame callback 中，可以獲得相機幀的資料 data。定義好需要在視訊流中的人臉動作（如眨眼，張嘴等），即可在目前幀進行人臉檢測。
釋放執行個體
App 需要根據自己應用場景，主動釋放模型所占用的記憶體。以我們的 Demo 為例，在 Activity 的 onDestroy ，釋放掉模型占用的記憶體。你可以根據自己 app 的流程，來決定在什麼時間節點進行釋放。
前後處理最佳實踐
在一個真正的落地場景中，除了以上三步以外，還有一些針對相機視訊流的前後處理。這些處理，在很多時候都是類似的。比如前處理方面，如何正确地處理相機幀，需要考慮攝像頭是前置還是後置，相機的旋轉；後處理方面，需要把模型輸出的結果（例如人臉關鍵點坐标）映射到原圖進行渲染。
MNN Kit 把這些最佳工程實踐作為參考實作放在了 Demo 裡面。這 Demo 的代碼在 MNN Kit的GitHub 開源。
未來
MNN Kit 目前極大的簡化了移動開發流程中使用通用模型能力的流程。如果你的應用場景不是完全契合這個通用的場景呢？很多情況下，以一個優秀的基礎模型為起點，進行遷移學習，就可以得到适合你自己應有場景的模型。MNN 團隊會後續釋出産品來幫助大家更加輕松高效地進行遷移學習。
另外，MNN Kit 會逐漸覆寫到其他的通用場景的模型。請大家拭目以待！
原文連結：
https://mp.weixin.qq.com/s/SXwQofXaDQ19ncyIYVmMIQ