引言:
本文介紹利用華為ModelArts進行深度學習的圖像分類任務,不用一行代碼。
今年8月9日,在華為史上規模最大的開發者大會上,華為正式釋出全球首個基于微核心的全場景分布式OS——鴻蒙作業系統(HarmonyOS)。但你知道嗎?除了鴻蒙,華為還有一款好用的不能再好用的深度學習神器,ModelArts。甚至,不用程式設計,就能完成圖像分類的任務。
比如下面用自動學習方法基于花卉資料集快速建構花卉識别應用,而且不用編寫一行代碼。
服務配置
如果是第一次使用ModelArts服務,在使用之前需要給服務添加通路密鑰,授權作業能夠通路華為雲存儲OBS,若沒有添加通路密鑰,則無法建立作業。具體操作步驟如下:
1. 生成通路密鑰:在使用者基本資訊>管理我的憑證頁面新增通路密鑰,建立後密鑰會下載下傳到本地。
2. 設定ModelArts全局配置:在ModelArts服務頁面,添加通路密鑰,以授權通路OBS,使用ModelArts各項功能。
1. 生成通路密鑰
登陸華為雲控制台通路賬号中心,使用者新增通路密鑰并下載下傳到本地儲存,操作步驟如下:
步驟 1 通過華為雲賬号通路華為雲控制台,點選控制台右上角使用者賬号資訊,跳轉到"使用者中心"。請參考圖1。
圖1 "使用者中心"頁面
步驟 2 在"使用者中心>基本資訊"頁面點選"管理我的憑證",跳轉到"我的憑證"頁面。請參考圖2。
圖2 "我的憑證"頁面
步驟 3 在"我的憑證"頁面切換到"管理通路密鑰"頁簽,執行"建立通路密鑰"操作,輸入登陸密碼和短信驗證碼後,密鑰會自動生成并下載下傳到本地,檔案名為"credentials.csv"。請參考圖3。
圖3 新增通路密鑰
2. 設定ModelArts全局配置
登陸ModelArts服務控制台,在"全局配置"中設定全局通路密鑰,具體操作步驟如下:
步驟 1 登陸ModelArts服務頁面,通過左側導航欄進入到"全局配置"頁面。請參考圖4。
圖4 全局配置界面
步驟 2 執行"添加通路密鑰"操作,輸入"credentials.csv"檔案中的"Access Key"和"Secret Access Key"資訊,執行确定操作,完成全局密鑰的設定。請參考圖5。
圖5 添加通路密鑰
使用自動學習建構花卉識别應用
這章介紹如何标注花卉資料、并進行模型訓練和部署,以下是操作步驟。
1. 建立圖像分類項目
步驟 1 建立一個OBS桶,本案例中将桶命名為ai-course-001,同時在建立的OBS桶下建立檔案夾/automl/flowers。建立OBS桶和檔案夾參考文檔:https://support.huaweicloud.com/qs-obs/obs_qs_0001.html 。
步驟 2 進入ModelArts管理控制台界面。單擊左側導航欄的"自動學習",進入"自動學習"界面。請參考圖7。
圖7 自動學習界面
步驟 3 點選"圖像分類"建立項目按鈕,建立自動學習>圖像分類項目,自定義項目名稱(本例輸入exeML-flowers),訓練資料選擇OBS路徑/ai-course-001/automl/flowers/(flowers目錄是一個空目錄即可),點選"建立項目"完成圖像分類項目建立。請參考圖8。
圖8 建立項目
2. 下載下傳資料集
點選此處下載下傳資料集壓縮包至本地。
3. 圖檔标注
步驟 1 準備資料集。找到本地下載下傳好的資料集壓縮包,然後解壓。資料集檔案夾名稱是flowers_recognition,訓練集位于flowers_recognitionrain目錄下,共4個花卉類别,每個類别10張圖檔。測試集位于flowers_recognitionest目錄下。
該資料集包含的花朵及其類别如下圖所示:
步驟 2 頁面會自動跳轉到資料标注界面。點選下圖中的"添加圖檔"按鈕,添加本地的訓練集。
圖9 添加圖檔
步驟 3 标注圖檔,給圖檔打标簽。
進入"未标注"頁面。批量選中相同類别的圖檔,然後選擇标簽(如果标簽不存在,需要手動輸入),最後點選"确定"按鈕。如下圖所示(如果對操作流程不熟悉,可以檢視右上角的"操作指導"):
圖10 選擇标簽
"全部标簽"中列舉了所有的标簽,以及每個标簽下的圖檔數量,見圖10 選擇标簽。
步驟 4 校驗圖檔标簽。完成所有圖檔标注後,進入"已标注"頁面。如果每個類不是10張圖檔,說明标注有誤,可以在"已标注"頁面修改标簽。如果标注正确,可以跳過此步驟。
點選圖檔右下角按鈕,可以檢視圖檔的标簽,如下圖所示:
如果發現标簽不正确,可以選中圖檔,重新選擇标簽。
4. 模型訓練
在"資料标注"界面中,首先設定訓練時長為0.1(減小訓練時長的同時,可能會降低模型精度),然後點選"開始訓練"按鈕,即可開始訓練。如下圖所示:
5. 模型部署
在"模型訓練"頁面等待訓練完成(不超過6分鐘),訓練完成後,可以檢視模型的精度:
點選"部署"按鈕,将模型部署為一個線上服務:
6. 服務測試
在"部署上線"頁面,等待服務部署成功。部署成功後,點選"上傳本地圖檔"按鈕,上傳一張本地的測試圖檔(從測試集中選取)。如下圖所示:
點選"預測"按鈕進行預測:
可以看到預測結果:
7. 關閉服務
在"部署上線"頁面,點選"停止"按鈕,停止線上服務:
至此,花卉識别應用實驗完成。
結束語:
謝謝大家的閱讀。作為一個具有10多年網際網路,大資料的技術開發者。近十年工作,主要在從事大資料架構工作,涉及人工智能開發。有興趣的同學可以關注v信公衆号:python_dada來關注我的知識輸出。