天天看點

DataWorks新手引導

A:DataWorks可以無需RAM單獨配置權限,但若子賬号需要建立項目,可給授權

DataWorks新手引導

注: 主賬号建立子賬号時,建立AK這一步的時候,AK一定要儲存好,不然子賬号在更新個人資訊的時候,還需要主賬号重新去建立一次AK。

DataWorks新手引導

A:可以在資料開發頁面,建立ODPS_SQL任務,在SQL任務中寫SQL腳本。

DataWorks新手引導

A:

DataWorks新手引導

任務類型:節點任務是單個的任務;工作流任務是指,一個工作流任務中可以包含多個節點任務(最多30個節點任務)。

排程類型:手動任務是隻能手動觸發運作的 ;周期排程是指,我們會根據您任務的排程配置,定時去運作您的任務;排程類型一旦确認将無法修改。

DataWorks新手引導

送出:是 DataWorks 特有的一個邏輯,沒有送出的任務代碼,是不能享受 DataWorks 強大的排程功能的。任務送出,是送出到了哪裡呢?任務送出是送出到了排程系統,排程系統的功能是:根據您任務中的排程配置去運作任務。您隻需要配置好任務的運作周期和任務之間的依賴關系,就再也無需擔心任務的運作了。簡直是給任務找了一個保姆,一鍵托管呐。

說了這麼多,任務的排程配置在哪裡呢?

DataWorks新手引導

給DataWorks 團隊一個贊,簡直是太好用了~ hahaha~~

A: 我設定了一個每小時跑一次的任務,送出了任務以後,為什麼接下來的一個小時,這個任務還沒有開始運作呢?

是因為DataWorks 的排程系統,是當天晚上23.30開始生成第二天需要運作的任務執行個體,是以送出的任務要等到第二天才會自動運作哦。

注意:如果超過了23.30送出的任務,可能就趕不上當天批量生成執行個體這趟車了,隻能等下一趟(也就是第三天才會開始運作)。但如果需要快速運作起來,可以選擇測試運作和補資料運作~

怕大家不能了解為什麼産品邏輯要這麼設定,我就給大家解釋一下:如果咱們要算公司每天的銷售額,總不能是當天晚上算吧(要是算完以後,又有人來消費了,還得再加上,太麻煩了),是以我們都是今天計算昨天的銷售額(這個 ‘昨天’ 我們也叫業務日期,請大家在選擇時間的時候,注意看清楚,選擇的是業務日期還是運作日期)。

A: 我這個SQL 已經編輯好了,我現在想運作一下這個SQL ,來測試一下我的代碼,那我該怎麼運作這個SQL呢?

DataWorks新手引導

運作SQL任務有兩種方式,如上圖所示:

方式一:運作,這種運作方式是直接将SQL代碼下發到底層去執行,好處是友善快捷,壞處是運作結果隻保留在頁面上,頁面重新整理/關閉後就沒有了,且尋找曆史執行記錄相對麻煩。

方式二:測試運作,這種運作方式是需要将代碼送出到排程系統,然後觸發排程系統生成執行個體快照,成功生成執行個體後,才會開始運作任務。好處是可以使用排程系統參數、能夠看到每一次運作的運作記錄(運作記錄保留30天),壞處是相對麻煩一點。

補資料前咱們先了解一下,啥時候需要做補資料這個操作,補資料能幹啥?

補資料可以選擇一個業務流程(通過多個任務間的互相依賴,完成了一個業務流程),還能選擇多個業務日期(其實就是能選好多天),這樣即使代碼寫錯了,還是能有挽救的機會的嘛,下面有兩個經典場景,僅供參考:

如果任務周期運作後,發現今天任務的運作結果不符合預期,想重跑一下,那麼可以選擇補資料運作來實作(為啥用補資料,是因為補資料可以選擇下遊節點,測試運作隻針對單個節點有效)。

想測試一下任務的排程配置是否有效,請選擇補資料運作,不僅可以選擇下遊節點,還能選擇任務的業務日期(一次操作,可以補很長一段時間的任務呢),完美解決不知道排程配置是否符合預期的問題。

A: 說了那麼多,下面說一下怎麼補資料。

補資料這個步驟需要到 運維中心 裡面去操作,運維中心在哪看圖檔~

DataWorks新手引導

如果在運維中心裡沒有找到心儀的任務,那麼說明你打開的方式不對,你可以換種方式打開,比如說:

看看任務是否送出了;

看看任務的類型是否選對了;

DataWorks新手引導

選中任務後,就可以去選擇補資料的任務和日期了。

再多說一句:補資料的時候,如果任務和時間選擇的都比較多,會批量生成大量的任務執行個體,請小主謹慎操作~

A:任務測試運作以後,頁面會有一個連結跳轉到運維中心-測試執行個體下,可以選中任務,單擊檢視節點運作日志,即可檢視到任務的運作日志(如果任務有報錯,您不知該如何處理,請将日志以txt格式儲存,通過工單回報給我們)。

DataWorks新手引導

如有其他問題,請加釘釘群~ 加群後可以直接 AT 李珍珍!

DataWorks新手引導