天天看點

華為雲MVP高浩:打破AI開發瓶頸,解決資料、算法、算力三大難題

摘要:在高浩看來,大量的數字藍領人才和AI應用開發人員構成了目前AI行業發展人才之基,這也為高校學生就業初期從事的工作指明了方向,而華為ModelArts平台在教育領域有着天然的資料、算法優勢,非常适合AI教學。

高浩,華為雲MVP,南京航空航天大學碩士畢業,曾就職于某研究所集團公司。先後從事大資料開發與資料挖掘工作,擅長機器學習和資料分析。現任江蘇知途教育科技有限公司人工智能課程研發負責人,“1+X” 計算機視覺應用開發認證(初級,中級)副主編,進階認證講師。

華為雲MVP高浩:打破AI開發瓶頸,解決資料、算法、算力三大難題

從人工智能被寫入政府工作報告,到如今高校遍地開花的人工智能專業,AI作為下一階段科學變革浪潮的新引擎,正在滲透到各行各業,當行業進入高速發展期,市場對高端人才的需求和依賴性也随之攀升。

高浩一直從事大資料開發與資料挖掘工作,擅長機器學習和資料分析,現在擔任江蘇某教育科技公司的人工智能課程研發負責人。

在他看來,大量的數字藍領人才和AI應用開發人員構成了目前AI行業發展人才之基,這也為高校學生就業初期從事的工作指明了方向,而華為ModelArts平台在教育領域有着天然的資料、算法優勢,非常适合AI教學。

為什麼選擇ModelArts?

AI應用的開發非常複雜,主要展現在開發流程冗長、煩瑣,包括資料準備、算法開發、模型開發、應用生成、部署和維護等多個環節,鍊路很長,每個環節都需要大量人力和計算資源的投入。

AI開發需要的實驗環境或者平台資源昂貴,傳統的實踐教學體系與市場崗位、企業項目脫、産業發展、以及個人職業發展脫節。

除此之外,AI的三個關鍵要素:算法、算力和資料,一方面推動了AI技術的應用落地,但也提高了學習上手的門檻。

考慮到這些難題,高浩在調研了多家廠商的開發平台後,最終選擇了一站式AI開發平台ModelArts。“算法可以采用平台中已有的通用算法,縮短建立時間,降低技術人員的入門門檻。算力可以根據按需方式租用GPU伺服器,降低研究的前期投入。”

高浩表示,ModelArts的教學指南非常完整,它系統地介紹了AI應用開發全流程及其子流程,包括資料準備、算法選擇和開發、模型訓練、評估和調優等,以及人工智能應用開發場景化實踐。

通過一整套工具鍊和方法傳遞,每個開發者都可以借助ModelArts在具體業務場景下更快、更高效、更低成本地開發AI應用,進而更好地解決實際問題。高浩認為,這樣從教學實施角度上也更有普适指導意義。

為了進一步闡釋ModelArts的易用性,高浩詳細示範了一個基于ModelArts和HiLens的雲、邊、端協同的AI應用開發案例。

快速上手ModelArts

ModelArts 的“一站式”展現在它囊括了AI開發的各個環節,包括資料處理、算法開發、模型訓練、模型部署等等,而且面向不同經驗的開發者,提供相比對的使用流程。

内容方面,ModelArts支援圖像分類、圖像檢測、視訊分析、語音識别、産品推薦、異常檢測等多種AI應用場景。功能方面,它支援從資料處理到算法開發、訓練、部署、開發流程管理等多種功能。如下圖所示:

華為雲MVP高浩:打破AI開發瓶頸,解決資料、算法、算力三大難題

其中,核心部分主要包括資料處理和模型的管理。

1、資料的處理

在ModelArts中,我們都是以資料集為資料基礎,進行模型開發或訓練等操作的。建立資料集前需要擷取通路OBS的權限。

目前,ModelArts支援如下9種類型的資料集,包含圖檔、音頻、文本和其他類别:

• 圖像分類

• 物體檢測

• 聲音分類

• 語音内容

• 語音分割

• 文本分類

• 命名實體

• 文本三元組

• 自由格式

針對建立好的資料集,可以執行标注資料、釋出、版本管理、修改、導入和删除等操作。

以圖像分類為例,隻需要給圖檔添加相應的标簽即完成标注。實體檢測的話,則需要在圖檔中使用标注框來框出标注對象,并打上标簽,其餘與圖像分類相似。

華為雲MVP高浩:打破AI開發瓶頸,解決資料、算法、算力三大難題

此處強調一下命名實體資料集,命名實體場景是針對文本中的實體片段進行标注,如“時間”、“地點”等。與文本分類不同的是,它需對片段進行标注,而不是全文。

華為雲MVP高浩:打破AI開發瓶頸,解決資料、算法、算力三大難題

文本三元組标注則适用于标注語句當中形如(主語/Subject,謂詞/Predicate,賓語/Object)結構化知識的場景,标注時不但可以标注出語句當中的實體,還可以标注出實體之間的關系,其在依存句法分析、資訊抽取等自然語言處理任務中經常用到。

華為雲MVP高浩:打破AI開發瓶頸,解決資料、算法、算力三大難題

聲音方面,主要是根據播放内容,在 “語音内容”文本框中填寫音頻内容,完成标注。

2、模型訓練管理

資料處理完成後,接下來就是模型的訓練。ModelArts可以基于不同的資料選擇不同規格的資源池(CPU或GPU),根據使用者選擇的資料量和資源不同,模型訓練通常耗時幾分鐘到幾十分鐘不等。

同時,ModelArts也支援檢視模型訓練的情況并及時調整模型參數。

除支援使用者自己開發的模型外,ModelArts還提供了AI市場算法,開發者能直接使用已有的算法,再通過簡單的調參得到一個滿意的模型。

模型訓練之後,ModelArts模型管理可導入所有訓練版本生成的模型,統一管理疊代和調試的模型,同時它還支援從模闆、容器鏡像以及OBS等場景導入模型,友善模型的部署上線。

另外,ModelArts提供了模型轉換功能,可以将已有的模型轉換成所需格式,以便應用于算力和性能更高的晶片上。舉個例子,用Tensorflow架構訓練的模型,使用轉換功能可轉換成om格式,即可在昇騰晶片上部署運作。

端側看HiLens,讓AI應用快速落地

學會用ModelArts做好模型訓練後,端側的開發平台HiLens可以讓AI應用落地更簡單,高浩也談了談他使用HiLens的感受。

HiLens是端雲協同多模态AI開發應用平台,它提供簡單易用的開發架構、開箱即用的開發環境、豐富的AI技能市場和雲上管理平台,對接多種端側計算裝置如HiLens Kit,支援視覺及聽覺AI應用開發、AI應用線上部署、海量裝置管理等。

高浩表示,購買HiLens Kit的普通使用者如果需要快速安裝技能到裝置,使其具備AI能力,可以到技能市場購買技能,基本流程如下:

華為雲MVP高浩:打破AI開發瓶頸,解決資料、算法、算力三大難題

對于具備程式設計能力的使用者,也可以選擇自己建立技能。

購買或者建立好技能後,就是對其進行部署,具體可以前往資料管理檢視技能效果。

基于HiLens,高浩準備開發了一個檢測施工現場作業人員是否佩戴安全帽的應用。

他在建立好相對應的技能後,使用HDMI視訊線連接配接HiLens Kit視訊輸出端口和顯示器,然後點選背景管理中的啟動技能,當狀态變為“運作中”,表明技能成功運作在端側裝置上。

華為雲MVP高浩:打破AI開發瓶頸,解決資料、算法、算力三大難題

最後應用的結果如下:

華為雲MVP高浩:打破AI開發瓶頸,解決資料、算法、算力三大難題
華為雲MVP高浩:打破AI開發瓶頸,解決資料、算法、算力三大難題

總的來說,開發這樣一個檢測工地施工安全的應用其實很簡單,先用雲端的ModelArts進行資料處理和模型訓練,然後再借助HiLens将模型部署到端側,最後就能得到一個可以落地的AI應用。

本文分享自華為雲社群《【智能時代,AI無處不在】華為雲MVP高浩:打破AI開發瓶頸,解決資料、算法、算力三大難題》,原文作者:我們都是雲專家。

點選關注,第一時間了解華為雲新鮮技術~

繼續閱讀