2、打开后新建一个名为WordCount的工程(这个应该都知道吧File-->New-->Scala Project),会发现有个Scala Library container[2.11.7],因为这个不是我们需要的版本,需要改一下;即右击WordCount-->Properties-->Scala Compile-->Use Project Settings-->Scala Installation,选择第二个,即Latest 2.10 bundle (dynamic),然后点击OK
PS:如果你的scala版本是2.11.x,则可以忽略这步。
3、右击WordCount-->Build Path-->Configure Build Path-->Libraries-->Add External JARs...选择你解压的spark-assembly-1.0.0-hadoop1.0.4.jar,然后点击OK
4、此时所有的包依赖都导入成功,然后新建一个Scala类,即可开发Spark。
下面给出史上最详细的程序:
1、如果想要在本地上搞Spark的话:
View Code
通过点击右键,选择Run As-->Scala Application,然后出现运行结果:
2、如果想要在集群上搞Spark的话:
(1)将你的程序打包到你的linux,运行Spark集群。具体的打包过程为:右键你需要打包的文件名如:WordCount.scala,然后-->Export-->Java-->JAR file,选择想要导出的路径,点击OK!
(2)然后导出的包复制到你的linux系统上,我的目录为
然后打开你的hadoop集群和spark集群,用jps查看一下。
然后执行命令:
此时运行成功!
当神已无能为力,那便是魔渡众生