2019年由Google大腦團隊提出,論文位址:MnasNet: Platform-Aware Neural Architecture Search for Mobile
比MobileNet精度和實時性更高的模型,用強化學習搜尋出來的深度卷積神經網絡,主要優化目标有兩個,識别準确率和CPU運算延遲。
![](https://img.laitimes.com/img/_0nNw4CM6IyYiwiM6ICdiwiIyVGduV2YfNWawNCM38FdsYkRGZkRG9lcvx2bjxiNx8VZ6l2cs0TPn5UeVRUTxMGVPpHOsJGcohVYsR2MMBjVtJWd0ckW65UbM5WOHJWa5kHT20ESjBjUIF2X0hXZ0xCMx81dvRWYoNHLrdEZwZ1Rh5WNXp1bwNjW1ZUba9VZwlHdssmch1mclRXY39CXldWYtlWPzNXZj9mcw1ycz9WL49zZuBnLyAzM3QTOwcTMxMzMwEjMwIzLc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
圖36 神經架構搜尋
其中,模型隻在ImageNet上簡單跑“5個epochs”,然後轉換成TFLite,再在Pixel 1上用單CPU核測試“延遲”。是以搜尋出來的8K個模型,大多數也還是沒在ImageNet上完整訓練過,隻有最好的<15個模型,進行了完整的ImageNet或COCO的訓練。
圖37 MnasNet
搜尋得到基線結果MnasNet中的五種層的結構,有兩種分别于MobileNet V1 V2中的層相同,證明了人工設計的确實優秀。
pytorch實作
借助了倒殘差結構,沒有用SE子產品。