天天看点

azkaban踩过的坑

maven下载地址3.0.0版本:https://gitee.com/wenhaijin_830_8756/myazkaban

maven地址下载3.35.0版本:https://gitee.com/wenhaijin_830_8756/azkaban.git

官网下载地址:https://azkaban.github.io/downloads.html

下载完成myazkaban项目后,里面有一份部署文档“myazkaban-3.0.0使用文档.doc”,参照着该文档进行操作

安装完成后输入一下网址进行访问:https://ip:8443

azkaban踩过的坑
azkaban踩过的坑

在进行项目部署的时候,遇到了一些坑,花了很长时间才解决,这边分享给大家,希望大家在部署的时候能够少走一些弯路

官方提供的源码并不是maven项目,不支持maven编译及打包构建,如果想采用maven进行构建,则通过上面的第一个源码链接进行下载

安装完成之后,一定要在bin文件的上一层目录进行启动

而不能cd到bin目录里面进行启动,因为该启动脚本中引用到了当前位置目录信息

启动脚本上传至服务器中默认是不具备可执行权限的,所以需要授予可执行权限

对于shell脚本中的空格,window和linux操作系统是不兼容的,所以需要进行一个转化操作,具体转化过程可以参照以下文章:javascript:void(0)

其中minimumfreememory过滤器会检查executor主机空余内存是否会大于6g,如果不足6g,则web-server不会将任务交由该主机执行,具体源码如下:

cpustatus过滤器会判断执行主机的cpu占用率是否达到95%,若达到95%,web-server也不会将任务交给该主机执行

如果任务执行失败,报错信息如下

多半是因为所有执行主机内存不足引起,azkaban源码要求执行主机可用内存必须大于3g才能满足执行任务的条件

azkaban踩过的坑

azkaban对应的源代码如下:

multiple executor mode模式部署目前还不支持主机及端口对应关系配置,所以需要手动执行sql往数据库表中插入数据

azkaban踩过的坑

1.window命令行切换到目标目录

2.git clone https://github.com/azkaban/azkaban

3.下载完成后 执行gradlew build -x test命令构建(跳过测试)

4.构建成功后找到server以及executor的buit目录的distributions目录下

    报错信息如下:

解决方案:

配置commonprivate.properties

azkaban踩过的坑
azkaban踩过的坑

切换完最新源码(3.35.0)进行打包后,部署出来的界面存在样式问题

azkaban踩过的坑

出现的原因,服务器中web-server目录下面的web文件夹我拷贝的是下面的目录

azkaban踩过的坑

该目录下面并没有azkaban.css样式文件