天天看點

如何遷移 Flink 任務到實時計算

【如何遷移 Flink 任務到實時計算】視訊連結 免費下載下傳《開源Flink遷移實時計算Flink版全托管最佳實踐》

作者 | 景麗甯(硯田),阿裡巴巴技術專家景麗甯(硯田)

本文由阿裡巴巴技術專家景麗甯(硯田)分享,主要介紹如何遷移Flink任務到實時計算 Flink 中來。内容主要分為以下幾部分:
  1. 如何遷移
  2. 多 jar
  3. 配置檔案
  4. state 複用

通常使用者線上下主要使用 Flink run,這會造成一些問題,比如:同一個配置因版本而變化;無法快速切換不同版本;無法從之前的作業恢複。

如何遷移 Flink 任務到實時計算

那麼如何從線下遷移到線上呢?本文将通過下面四部分來向大家介紹。

如何遷移 Flink 任務到實時計算

一、如何遷移:從 Flink run 到流計算平台

如下圖的線下指令如何遷移到線上。首先打開 VVP UI,添加基礎配置,主要包括:作業名稱、Jar URI、一些主要參數和并行度。還可以點選進階配置,配置更多資訊。

如何遷移 Flink 任務到實時計算

比如進階配置裡的行為配置,分為三部分:更新政策、初始狀态和恢複政策。更新政策一般選擇Stateless,初始狀态選擇Running,恢複政策選擇Latest State。

如何遷移 Flink 任務到實時計算

更新政策選擇Stateless,表示針對已經在運作的作業,編輯并儲存配置後,會直接把原作業停掉,然後重新啟動一個更新的作業;選擇Stateble,針對正在運作的作業做配置編輯并儲存的話,作業會先做一次Savepoint,然後加載新的配置并使用該 Savepoint啟動新的作業。

恢複政策選擇LatestSavepoint,是指作業在暫停情況下,如果再啟動,将使用最新的Savepoint啟動。

上面介紹的是 Flink 配置中比較重要的部分,下面圖檔顯示的是另外一部分可以設定Checkpoint間隔等的配置,接下來是資源配置。日志配置部分可以選擇日志儲存位置,友善日後如果作業出現問題,可以友善的排查問題。

如何遷移 Flink 任務到實時計算

Flink 作業配置完成并啟動運作後,如果出現異常,可以通過運作事件檢視運作情況和問題。也可以打開 Flink UI的Job Manager,檢視日志情況。

如何遷移 Flink 任務到實時計算

二、多Jar情況下,使用者如何添加其他依賴的Jar

一些使用者有自定義依賴且無法通過 fat jar 解決問題。舉個例子,A使用者有自己的main Jar和一些其他的Jar,這些Jar的應用場景不一樣,那麼首先需要在資源管理頁面上傳Jar包,上傳完成之後就可以在頁面使用該檔案。

上傳後再到進階配置中,找到“額外依賴的Jar”,下拉并選擇剛剛上傳的Jar 包就可以了。

如何遷移 Flink 任務到實時計算

三、使用者如何通過配置檔案定義作業

在資源管理裡上傳檔案,然後在進階配置裡選添加依賴,選擇需要的依賴。如果啟動函數裡,main class是需要讀取某個檔案,先通過依賴添加檔案,然後再根據提示的方式讀取檔案。

以上兩個方式是放置使用者Jar的方式,jar 和其他檔案都可以在這裡存放。

四、如何複用原來的state加速作業恢複

如果在運作作業時發現問題,一般情況下是停下來然後找到問題修複後再重新開機。使用者需要在建立的時候指定 Checkpoint 需要的 OSS。 如果開啟了Checkpoint,後續作業就可以直接從Checkpoint中恢複。

首先确認進階配置中恢複政策選擇LatestState或LatestSavepoint。在這個前提下,可以暫停作業(千萬不要停止作業),暫停會觸發Savepoint,當再次點選啟動時,會從這次Savepoint點恢複。

如何遷移 Flink 任務到實時計算

打開 Flink UI ,然後點選作業快照,在作業快照中可以檢視 Flink Checkpoint名額,裡面會顯示Restore的次數和最後一次Restore的位址等資訊,可确定作業是從最新的 State 恢複。

如何遷移 Flink 任務到實時計算

當作業正在運作,想對目前作業進項拷貝,如何操作呢?在作業控制頁面點選Checkpoint,找到曆史快照并點選其對應的最右側的“從該快照複制作業”,那麼就完成了把目前作業複制的操作,複制内容包括正在運作作業的Jar 包配置等。點選啟動後,可以從作業快照中檢視到新作業是從上個作業最近的一次Savepoint中複制啟動的。

産品官網:

https://www.aliyun.com/product/bigdata/sc

想要了解更多實時計算Flink版資訊,歡迎加入“實時計算Flink産品交流群”

如何遷移 Flink 任務到實時計算

推薦活動:

首月10CU 99元試用,另有 Flink 定制T恤随機贈送!

了解活動詳情:

如何遷移 Flink 任務到實時計算