天天看點

日志服務資料加工:控制台操作進一步參考

日志服務資料加工:控制台操作進一步參考

功能入口

進入Logstore頁面,通過加工菜單右邊的+号直接進入資料加工模式,如下圖1所示。

日志服務資料加工:控制台操作進一步參考

圖1 Logstore頁面加工入口

或者進入查詢頁面,手動切換到資料加工模式,如下圖2所示。

日志服務資料加工:控制台操作進一步參考

圖2 查詢頁面切換加工模式

加工效果預覽

進入資料加工模式之後,通過如下步驟進行調試:

1)選擇時間的範圍,確定對應時間範圍内有日志接入。注意: 這裡選擇的時間是

日志接收時間

為準.

2)在代碼編輯框編輯加工規則,規則文法參考

加工規則

3)點選預覽,等待傳回加工結果。在首次點選預覽時,需要輸入AccessKey 用于消費源Logstore中的資料。

4)等待加工結果傳回。

日志服務資料加工:控制台操作進一步參考

圖 3 加工界面

結果展示區中的輸出目标對應加工規則中的輸出目标。如果加工規則存在文法錯誤或者Access Key不合法等原因導緻加工失敗,會提示如下錯誤資訊:

日志服務資料加工:控制台操作進一步參考

圖 4 異常日志

建立任務

如果規則預覽符合預期結果,點選儲存資料加工按鈕儲存為加工任務,如下圖5所示。

日志服務資料加工:控制台操作進一步參考

圖 5 建立加工任務

在左側彈窗中輸入加工任務必需的配置:

日志服務資料加工:控制台操作進一步參考

圖 6 建立加工任務

除了所需的Access key 之外,還需要輸入任務名稱,存儲目标和加工範圍等資訊。

1)存儲目标

加工規則結果支援輸出到多個Logstore,每個存儲目标對應一個目前Project或者目前地域内其他Project内的Logstore,需要提供用于寫入資料的Access Key。

注意: 在加工規則中可以通過存儲目标名稱進行引用, 在加工規則中不指定目标的情況下, 預設會輸出到第一個配置的目标中. 

注意:目前隻支援相同地域的Project。

限制

  • 目前隻支援相同地域的Project,
  • 最多20個固定目标. 如果希望存儲更多目标, 且動态配置. 可以參考動态多目标分發.
  • 存儲目标的長度: 4~64, 字元集: 任意

2)加工範圍

加工過範圍對應三種類型:

  • 所有:對Logstore中的資料從開始位置持續加工,直到任務被手動停止。
  • 某時間開始:指定開始時間點,從該時間點對應的位置開始加工,直到任務被手動停止。
  • 特定時間範圍:指定任務的起止時間,加工到結束時間之後自動結束。
  • 注意: 時間是以

3)進階參數配置

對于加工規則代碼中需要使用的密碼資訊,如資料庫連接配接密碼等,可以以Key-Value的形式儲存在密鑰對中,在代碼中通過變量引用

res_local("key")

的方式進行使用。

某些特殊配置項,例如簡單的維表資訊也可以存儲于進階秘鑰配置中. 具體參考

資源

.

加工規則儲存之後自動開始運作。

  • 目前支援最多10個參數對
  • 關鍵字: 最大長度100, 字元集[a-zA-Z0-9u4E00-u9FA5 ._-]
  • 值: 最大長度2000, 字元集任意

任務管理

加工任務建立後,可以從左側導航欄源logstore的資料加工中直接找到對應的任務, 如圖:

日志服務資料加工:控制台操作進一步參考

也可以在源logstore的的資料處理下加工下找到對應任務, 如下圖7所示。

日志服務資料加工:控制台操作進一步參考

圖 7 加工任務管理

操作

日志服務資料加工:控制台操作進一步參考

停止

對于運作中的任務,點選任務清單右側操作欄的停止按鈕,可以停止任務。

注意:停止任務會儲存目前的加工位置,如果任務再次啟動會從停止的位置繼續加工。如果需要從配置的時間範圍重新開始執行,請參考 重新執行。

啟動

對于狀态為停止的任務,點選任務清單右側操作欄的啟動按鈕,可以繼續開始執行加工。

重新執行

任務在任何狀态都可以通過點選清單右側的重新執行按鈕來重新執行任務,重新執行不會從已經加工結束的位置繼續運作,而是從頭開始執行。如果希望繼續之前的位置加工可以參考停止任務和啟動任務。

修改規則

通過修改按鈕可以進入加工規則配置頁面,重新調試規則後,可以通過修改配置按鈕修改。

注意: 如果在修改了代碼之後希望能夠使用新的代碼繼續運作,需要停止任務,再啟動任務。控制台會在修改時會提示進行這樣的操作.

删除

如圖7所示,點選任務清單右側操作欄的删除按鈕,可以删除任務。

任務狀态

加工任務可能的狀态有:啟動中,運作中,停止中,已停止,成功,失敗。各個狀态和允許的操作如下表所示:

狀态操作 重新運作 修改
啟動中 支援
運作中
停止中
已停止
成功
失敗

進一步參考

歡迎掃碼加入官方釘釘群獲得實時更新與阿裡雲工程師的及時直接的支援:

日志服務資料加工:控制台操作進一步參考