天天看点

如何在E-MapReduce上使用storm

目前e-mapreduce已经支持了apache社区的1.0.1版本的storm。用户可以通过选择e-mapreduce 最新的镜像版本emr-2.0.0(以及后续的以上版本),通过在控制台软件列表中勾选storm软件进行安装,选择完毕后即可登录到master节点,通过命令行提交storm作业(e-mapreduce控制台页面暂时还不支持页面提交storm作业类型,后续根据用户的使用情况会考虑支持)。具体构建集群相关选项如下图所示:

如何在E-MapReduce上使用storm

通过ssh命令,登录集群的master节点。

登录到该节点后,即可通过命令行的方式提交作业,e-mapreduce集群中storm的运行环境位置为:<code>/opt/apps/apache-storm-1.0.1</code> (用户可以自行将该运行环境目录配置到自己的环境变量中)。

提交storm作业的命令例如:<code>/opt/apps/apache-storm-1.0.1/bin/storm jar xxxx.jar com.aliyun.emr.mainclassxxx args1 args2</code>

监控ui的截图样例如下:

如何在E-MapReduce上使用storm

storm会在master节点启动nimbus进程和监控ui进程,分别占用6627端口和9999端口。

storm会在core节点启动 supervisor 占用 6700 6701 6702 6703 端口。

继续阅读