近年來，人工智能行業發展迅速，熱度居高不下，各種性能強大的算法和硬體層出不窮。但在“光鮮”外表之下，人工智能算法“落地難”的問題卻一直為人所诟病。歸根究底，是學術界在追求模型理論性能提升的同時，對于算法在實際工業場景的落地實踐有所欠缺，忽視了模型在不同硬體上的能力邊界。
為此，商湯科技聯合北航劉祥龍教授團隊，攜手安徽合肥資料空間研究院、天數智芯、科大訊飛、OpenI 啟智新一代人工智能開源開放平台等機構與企業，在國際頂級人工智能會議AAAI 2023上舉辦實用AI挑戰賽，旨在搭建一座連通學術與工業化落地的橋梁，篩選出效果好、效率高、魯棒性強的模型設計，推動人工智能領域朝實用方向發展。
依托商湯AI大裝置，商湯科技内部自研的模型全生命周期效率提升工具-模型工廠，也将于本次比賽期間首次對外開放部分能力，其全流程、自動化、多硬體的人工智能部署和測試平台，可用于評估包括算法速度、精度等多元度的實用性，快速篩選出高性能的人工智能模型。
在本次比賽中，我們選擇了在智慧安防、自動駕駛、手機、雲計算四個熱門人工智能落地場景下使用的7個不同硬體平台，這些硬體平台在算力、算子支援和模型量化方案等方面各有不同。參賽隊伍将基于7個指定平台展開角逐，充分考慮硬體特性，針對交通燈和交通标志識别任務，嘗試找出在各個平台表現最優異的模型，也可以嘗試設計多平台通用的“全能”模型！
本次大賽依托“AAAI 2023 Workshop: Practical Deep Learning in the Wild”展開。獲獎隊伍将獲得豐厚獎金，還将受邀在workshop分享冠軍方案。大賽已正式啟動，檢視文末網址或點選閱讀原文，即刻報名參與。
賽題詳情
本次比賽共包含兩個賽道：單平台高性能魯棒結構設計和跨平台高性能魯棒結構設計。
賽道一：單平台高性能魯棒結構設計
針對單一硬體平台的最優模型：不同的晶片支援的算子和資料類型以及算子的底層優化機制均不相同，是以該賽道鼓勵參賽團隊根據不同的硬體晶片的特性，選擇特定晶片設計硬體相關的高性能網絡結構。
賽道二：跨平台高性能魯棒結構設計
針對全部硬體平台找到一個通用的高效魯棒模型：希望參賽團隊能夠綜合考慮不同晶片的硬體特性，設計一個在全部七個平台通用的，高效魯棒模型結構。
賽題覆寫多種場景和硬體架構，涉及的硬體平台包括：
· 安防晶片：華為Atlas 300 / 瑞芯微 RV1126
· 雲端GPU晶片：英偉達 Tesla T4
· 手機晶片：高通SNPE GPU、DSP
· 自動駕駛晶片：德州儀器TDA4VM
· 商湯自研推理晶片：商湯STPU S1
在資料集方面，基于商湯在自動駕駛領域多年積累，開放部分交通标志和信号燈資料集，聚焦真實場景問題。
比賽規則
比賽将系統評估模型的速度、精度和魯棒性三個方面。
比賽早期會分别釋放訓練資料，選手們僅能使用該階段提供的訓練資料對其設計的模型進行訓練，并用A榜驗證集評估模型在其實驗環境下的精度表現。為了篩選出具備魯棒性的參賽方案，最終排名會使用B榜測試集，該測試集包含硬體平台自身的系統噪聲以及真實生活場景的自然噪聲。每個平台會單獨評估選手送出模型的精度(presicion)和速度(latency)，并計算相對的精度得分和速度得分。
得益于商湯AI大裝置能力，比賽開放模型的速度測試和精度測試入口，選手每天可以通過比賽提供的測速服務和精度測試服務，快速驗證其設計的結構在不同硬體平台的真實推理速度和精度。
獎項設定
比賽提供了總額達1.7萬美元的豐厚獎金池。
賽道1：單平台賽道
*本獎項共涉及7個硬體平台，每個硬體平台的冠軍隊伍均可獲得1000美元的獎勵。
賽道2：多平台賽道
注：參賽隊伍不能同時獲得兩個賽道的獎金，若在兩賽道均排名靠前，獎金取數額大者發放。
參賽樣例
為了降低參賽門檻、友善參賽隊伍快速上手，提供了包含從訓練到測試的完整樣例 (https://github.com/ModelTC/AAAI2023_EAMPD)，每個人都可以跟随教程，完成送出。同時還能享受到來自OpenI的免費算力資源。
賽程安排
2022/11/18
開放競賽報名和資料集下載下傳
2022/12/1
開放送出及線上精度評測
2022/12/31
排行榜封榜
2023/01
結果公布
報名方式
本次大賽的資訊釋出、報名、送出均會通過競賽首頁進行，大家也可以通過微信群聊或者slack與我們聯系。歡迎大家踴躍參加！
大賽首頁：
https://practical-dl.sensecore.cn