天天看点

高可用Hadoop平台-启航1.概述2.启航3.WordCount4.总结

接下来我们就可以驾着hadoop这艘巨轮在大数据的海洋中遨游了。工欲善其事,必先利其器。是的,没错;我们开发需要有开发工具(ide);本篇文章,

  hadoop2x-eclipse-plugin:这个插件,本地单元测试或自己做学术研究比较好用

  插件下载地址:https://github.com/smartdengjie/hadoop2x-eclipse-plugin

  由于jboss developer studio 8基本适合于retina屏,所以,我们这里直接使用jboss developer studio 8,jboss developer studio 7对retina屏的支持不是很完美,这里就不赘述了。

  附上一张ide的截图:

高可用Hadoop平台-启航1.概述2.启航3.WordCount4.总结

  下面我们开始安装插件,首先展示首次打开的界面,如下图所示:

高可用Hadoop平台-启航1.概述2.启航3.WordCount4.总结

  然后,我们到上面给的github的地址,clone整个工程,里面有编译好的jar和源码,可自行选择(使用已存在的和自己编译对应的版本),这里我直接使用编译好的版本。我们将jar放到ide的plugins目录下,如下图所示:

高可用Hadoop平台-启航1.概述2.启航3.WordCount4.总结

  接着,我们重启ide,界面出现如下图所示的,即表示插件添加成功,若没有,查看ide的启动日志,根据异常日志定位出原因。

高可用Hadoop平台-启航1.概述2.启航3.WordCount4.总结
高可用Hadoop平台-启航1.概述2.启航3.WordCount4.总结

  配置信息如下所示(已在图中说明):

高可用Hadoop平台-启航1.概述2.启航3.WordCount4.总结
高可用Hadoop平台-启航1.概述2.启航3.WordCount4.总结

  添加本地的hadoop源码目录:

高可用Hadoop平台-启航1.概述2.启航3.WordCount4.总结

  到这里,ide和插件的搭建就完成了,下面我们进入一段简单的开发,hadoop的源码中提供了许多example让我学习,这里我以wordcount为例子来说明:

  首先我们看下hadoop的源码文件目录,如下图所示:

高可用Hadoop平台-启航1.概述2.启航3.WordCount4.总结
高可用Hadoop平台-启航1.概述2.启航3.WordCount4.总结

  这篇文章就和大家分享到这里,如果在研究的过程有什么问题,可以加群讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!