天天看点

使用Eclipse开发及测试Spark的环境搭建及简单测试

  2、打开后新建一个名为WordCount的工程(这个应该都知道吧File-->New-->Scala Project),会发现有个Scala Library container[2.11.7],因为这个不是我们需要的版本,需要改一下;即右击WordCount-->Properties-->Scala Compile-->Use Project Settings-->Scala Installation,选择第二个,即Latest 2.10 bundle (dynamic),然后点击OK

  PS:如果你的scala版本是2.11.x,则可以忽略这步。

使用Eclipse开发及测试Spark的环境搭建及简单测试

  3、右击WordCount-->Build Path-->Configure Build Path-->Libraries-->Add External JARs...选择你解压的spark-assembly-1.0.0-hadoop1.0.4.jar,然后点击OK

使用Eclipse开发及测试Spark的环境搭建及简单测试

  4、此时所有的包依赖都导入成功,然后新建一个Scala类,即可开发Spark。

下面给出史上最详细的程序:

  1、如果想要在本地上搞Spark的话:

使用Eclipse开发及测试Spark的环境搭建及简单测试
使用Eclipse开发及测试Spark的环境搭建及简单测试

View Code

  通过点击右键,选择Run As-->Scala Application,然后出现运行结果:

使用Eclipse开发及测试Spark的环境搭建及简单测试
使用Eclipse开发及测试Spark的环境搭建及简单测试

  2、如果想要在集群上搞Spark的话:

使用Eclipse开发及测试Spark的环境搭建及简单测试
使用Eclipse开发及测试Spark的环境搭建及简单测试

  (1)将你的程序打包到你的linux,运行Spark集群。具体的打包过程为:右键你需要打包的文件名如:WordCount.scala,然后-->Export-->Java-->JAR file,选择想要导出的路径,点击OK!

  (2)然后导出的包复制到你的linux系统上,我的目录为

    

使用Eclipse开发及测试Spark的环境搭建及简单测试

  然后打开你的hadoop集群和spark集群,用jps查看一下。    

使用Eclipse开发及测试Spark的环境搭建及简单测试

  然后执行命令:  

使用Eclipse开发及测试Spark的环境搭建及简单测试
使用Eclipse开发及测试Spark的环境搭建及简单测试

此时运行成功!

当神已无能为力,那便是魔渡众生

下一篇: CURL检查页面

继续阅读