天天看点

关于工作流调度器Azkaban与Oozie对比

1.功能方面:

Azkaban和Oozie都可以调用像shell脚本、MR、hive任务、spark、java等工作流任务,并且都可以设置任务来执行。

2.关于框架:

azkaban是一个轻量级的框架,开发较为简单,有良好的web界面对任务可以随时进行查看监控。

oozie是一个基于hadoop的分布式的工作流调度框架,相对于azkaban的来讲oozie的web页面不是很友好,执行调度时会启动MR任务,需要使用xml文件配置工作流,有一定的难度,是一个重量级框架,从框架的重量级上来说相对于oozie而言azkaban任务流调度系统还是很常用的。

3.工作流:

azkaban通过properties文件中配置任务来进行调度。

oozie通过在xml文件中配置任务来进行调度。

4.工作流传参对比:

Azkaban支持直接传参,例如 $ {parameter}。

Oozie支持参数和EL表达式两种方式,例如${fs:dirSize(parameter)}。

5.资源管理:

Azkaban有较严格的权限控制,如用户对工作流进行读/写/执行等操作,但是Oozie暂无严格的权限控制。

6.任务失败:

Azkaban会丢失所有的工作流。

但是Oozie可以在继续失败的工作流运行。