天天看點

Sophon AutoCV Q&A大放送:如何加速視覺模型生産和落地(下篇)

Sophon AutoCV Q&A大放送:如何加速視覺模型生産和落地(下篇)

本期是Sophon AutoCV的第二期Q&A大放送,繼上篇對資料标注、模型訓練、上架及結果評估等模型生産流程進行解答後,本期将聚焦模型與實際生産業務相結合的業務場景搭建、模型釋出、告警等後續流程。

客戶Q1:在模型訓練完後,如何應用到實際的業務中去呢?

星小環:相較于大多數廠商将模型訓練完之後,直接釋出API或封裝SDK部署的方式不同的是:我們發現,在很多業務邏輯沒辦法通過這個方式實作,以及模型的前後處理工作。舉個例子來說,當實際業務需要一個人流密度預警的功能,基礎模型訓練的是行人檢測,但是行人檢測需要配合業務邏輯,即超過多少人産生告警、什麼時候告警,這個需要定制化寫代碼實作。

客戶Q2:直接釋出模型API或者SDK後,還是需要定制化開發來滿足業務需求。那你們怎麼解決呢?

星小環:我們平台把模型的業務化适配過程叫做搭建場景,一個場景實作一個或多個業務功能,下面進行示範:

Sophon AutoCV Q&A大放送:如何加速視覺模型生産和落地(下篇)

您可以通過搭建DAG圖的方式來串聯你的業務邏輯,比如多個模型分支怎麼處理,有類似上面的業務定制邏輯的時候,也可以使用函數算子來自定義函數邏輯。當搭建好靜态的場景,需要給這個場景注入資料,就需要把監控裝置對接到平台,目前我們平台支援主流的視訊裝置協定一鍵加入平台,來建立具體的應用産生消息通知。我們平台初始化預置了一些标準的場景可以直接使用。

Sophon AutoCV Q&A大放送:如何加速視覺模型生産和落地(下篇)

客戶Q3:執行個體産生的告警資料怎麼對外展示呢?

星小環:有兩種方式可以展示,一是在建構場景的時候可以自定義一個儀表盤來檢視,二是可以選擇将告警資料對接到業務系統當中,以比如MQTT推送等方式,都是支援的。

此外,目前我們也正在開發一個面向安全生産領域的業務應用系統,我們會把預置的場景打包成AI能力,您在這個系統就可以直接使用,不需要關注底層的場景怎麼搭建,模型怎麼訓練了。底層這個系統也是和Sophon AutoCV打通的,預計9月份會和大家見面。

Sophon AutoCV Q&A大放送:如何加速視覺模型生産和落地(下篇)

幾個案例

Sophon AutoCV Q&A大放送:如何加速視覺模型生産和落地(下篇)

客戶Q4:Sophon AutoCV平台目前的落地案例有哪些呢?

星小環:我們目前客戶主要集中在金融、制造業、研究機構以及傳統安防等領域,比如給某壽險公司做的死豬估重,通過我們平台在2周内就完成了一個模型的生産和落地上線。另外,某個制造業的客戶基于我們平台完成鋼材表面缺陷的質檢模型訓練和應用,通過标注缺陷的資料來訓練缺陷檢測的模型。其他的比如我們還會和高校、硬體夥伴進行合作,比如最近和惠普合作形成了一個AI教育聯合解決方案,提供了一個面向高校的科研教學的工具平台。

客戶Q5:目前市面上有比較多類似這樣的模型生産應用的平台産品,你們的差異點在哪呢?

星小環:差異點我們總結起來有3點:1-是我們針對模型的管理部分,提供模型倉庫統一納管模型,包括模型的評測,支援模型的一鍵部署應用,幫您屏蔽了底層的異構硬體;2-是我們的應用建構的部分,通過低代碼可視化拖拽的方式來搭建業務流程,友善您管理您的業務邏輯和快速遷移複制。3-是對于整體流程而言,覆寫了模型生産應用的全生命周期,并且可以完成結構化資料的回流,支撐模型的長期疊代。

客戶Q6:你們平台是如何完成資料閉環的?

星小環:資料有兩個方面:一是原始的視訊資料的采集,在我們的模型應用子產品,有裝置管理功能,可對接入到平台的資料進行定時定期錄制儲存,然後您可以把這部分資料回流到生産的樣本管理,支撐模型訓練。二是疊代資料的回流,對于模型推理後的資料包括圖檔以及對應的meta都會在平台儲存,您可以直接拿這部分資料導入回樣本集裡面,在标注詳情來稽核這些資料,稽核完成後再次進入訓練應用的流程。

客戶Q7:對于平台部署的硬體有什麼樣的要求呢?

星小環:對于模型訓練部分,建議您使用帶GPU的環境來加速訓練;對于模型應用的部分,我們還進行了國産化适配,可以在市面上主流的硬體平台上進行模型推理。具體的資源大小還得根據您訓練的需求以及要處理的視訊路數來定。