天天看點

如何自定義開發算法元件一、目的二、環境三、問題1、元件開發2、建立實驗

一、目的

使用【阿裡雲-機器學習PAI-pai studio】,用python開發自定義算法元件,并且上傳内網,釋出部署到PAI平台。但是我現在準備好資料源(已經資料清洗,拆分後),執行到我自定義開發的元件(python工程),就卡住了,也不報錯,初步判斷是無法接收上面元件節點傳來的參數,請問該如何處理?

二、環境

①、開發語言:python

②、開發架構:TensorFlow(最好不要用,導入TensorFlow庫後,項目非常大)

③、平台:阿裡雲,機器學習PAI,DataWorks

④、目錄結構

如何自定義開發算法元件一、目的二、環境三、問題1、元件開發2、建立實驗

三、問題

1、元件開發

現在純python的代碼開發完畢了。将我的python項目,打包成tar.gz包,然後上傳内網的機器學習PAI平台。具體的【上傳-釋出-訂閱-拖動元件到實驗桌布-配置-運作】這套流程已經熟悉。

2、建立實驗

2.1、實驗步驟

包括:【資料源表】→【SQL腳本-3】→【拆分-3】→【am.pre...006-1(我自己開發的算法元件)】→【預測-3】

2.2、實驗流程截圖

我建立了1個實驗,3個分支,左邊2個流程是我用官方給的元件做的流程對照組。右邊第3個流程是我自己開發的流程,用來完成個性化算法。

如何自定義開發算法元件一、目的二、環境三、問題1、元件開發2、建立實驗

2.3、執行【實驗】

實驗進行到【am.pre...006-1】(我自己開發的算法元件)就卡住了。這裡初步推斷是我自己開發的元件(python項目)中,沒有使用機器學習PAI平台,規範的入參接口代碼,接下來開始尋找,元件之間如何互動(傳參)。

如何自定義開發算法元件一、目的二、環境三、問題1、元件開發2、建立實驗

三、解決問題

3.1、搜集資料

①、資料1

【開發算法包】

https://help.aliyun.com/document_detail/126887.html

目前,我照着這個文章進行

②、資料②

【開發示例程式-Github位址】

https://github.com/aliyun/algo-market-example

這裡面的demo中,是最基本的代碼,隻有導包tensorflow和列印語句。

如何自定義開發算法元件一、目的二、環境三、問題1、元件開發2、建立實驗

進入【TensorFlow_example】目錄後:

如何自定義開發算法元件一、目的二、環境三、問題1、元件開發2、建立實驗

點選檢視train.py檔案内容,這裡告訴了我們如何引入tensorflow元件,沒有設計元件之間如何互動的問題。

如何自定義開發算法元件一、目的二、環境三、問題1、元件開發2、建立實驗

3.2、工單詢問阿裡雲-機器學習PAI平台工程師

3.3、與同僚交流