azkaban提高并行job數

一.現象

原來azkaban的job預設為10，我們需要增大來作為相容，但是要小心oom的情況發生。是以要注意監控機器。

二、來看下介紹

1. Executor Server配置

配置    解釋    預設

executor.port    executor server端口    12321

executor.global.properties    全局的配置    無

azkaban.execution.dir    正在執行的job的工作目錄    executions

azkaban.project.dir    儲存工程的被執行的檔案的臨時目錄    projects

executor.flow.threads    流式執行的線程數    30

job.log.chunk.size    滾動輸出的日志的size    5MB

job.log.backup.index    每個日志塊的分片    4

flow.num.job.threads    并發運作的flow的jobs的線程    10

job.max.Xms    每個job初始化的記憶體空間，如果job需要更多的空間，azkaban Server不會啟動這個job    1GB

job.max.Xmx    每個job可以申請的最大記憶體空間，如果job需要更多的空間    azkaban server不會啟動這個job

三、修改

# default 10 but we need faster

flow.num.job.threads=20

四、重新開機

./bin/az...start.sh

然後就能同時跑20個job了。

發現任務又提速了13秒左右，很棒！繼續優化，spark優化。