Azkaban（一）—— Azkaban介绍

文章目录

• 1.1 为什么需要工作流调度系统
• 1.2 什么是Azkaban
• 1.3 Azkaban适用场景
• 1.4 Azkaban特点
• 1.5 常见的工作流调度系统
• 1.6 Azkaban和Ooize特性对比
• 1.7 Azkaban的架构

1.1 为什么需要工作流调度系统

1. 一个完整的数据分析系统通常都是由大量任务单元组成：Shell脚本程序，Java程序，MapReduce程序、Hive脚本等。
2. 各任务单元之间存在时间先后及前后依赖关系。
3. 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。

1.2 什么是Azkaban

Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

1.3 Azkaban适用场景

根据以上业务场景： （2）任务依赖（1）任务的结果，（3）任务依赖（2）任务的结果，（4）任务依赖（3）任务的结果，（5）任务依赖（4）任务的结果。一般的做法是，先执行完（1）再执行（2），再一次执行（3）（4）（5）。这样的话，整个的执行过程都需要人工参加，并且得盯着各任务的进度。但是我们的很多任务都是在深更半夜执行的，通过写脚本设置crontab执行。其实，整个过程类似于一个有向无环图（DAG）。每个子任务相当于大任务中的一个节点，也就是，我们需要的就是一个工作流的调度器，而Azkaban就是能解决上述问题的一个调度器。

1.4 Azkaban特点

1. 兼容任何版本的Hadoop
2. 易于使用的Web用户界面
3. 简单的工作流的上传
4. 方便设置任务之间的关系
5. 调度工作流
6. 模块化和可插拔的插件机制
7. 认证/授权（权限的工作）
8. 能够杀死并重新启动工作流
9. 有关失败和成功的电子邮件提醒

1.5 常见的工作流调度系统

1）简单的任务调度：直接使用crontab实现；详见 Linux定时任务crontab

2）复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如Ooize、Azkaban等

1.6 Azkaban和Ooize特性对比

特性	Oozie	Azkaban
工作流描述语言	XML	text file with key/value pairs
是否要web容器	Yes	Yes
进度跟踪	web page	web page
Hadoop job调度支持	yes	yes
运行模式	daemon	daemon
事件通知	no	Yes
需要安装	yes	yes
支持的hadoop版本	0.20+	currently unknown
重试支持	workflownode evel	yes
运行任意命令	yes	yes

1.7 Azkaban的架构

• AzkabanWebServer

  AzkabanWebServer是整个Azkaban工作流系统的主要管理者，它负责用户登录认证、project管理、定时执行工作流、跟踪工作流执行进度等一系列任务。

• AzkabanExecutorServer

  负责具体的工作流的提交、执行，它们通过MySQL数据库来协调任务的执行。

• 关系型数据库（MySQL）

  存储大部分执行流状态，AzkabanWebServer和AzkabanExecutorServer都需要访问数据库。