Spark的伪分布安装和wordcount测试一：环境说明二：hadoop伪分布安装三：Scala安装四：Spark安装六：Spark的WordCount实例

基于hadoop2.6伪分布的Spark安装和wordcount测试

             Ubuntu：15.10（不稳定版，建议安装在稳定版，Ubuntu下XX..4是稳定的）

             Hadoop：2.6

             Scala：2.11.8

             Java：1.7.0

             Spark：1.6.1

          解压到指定目录：tar zxvf scala-2.11.8.tgz -C /usr/local/

          进入/usr/local/：cd /usr/local

          重命名为scala：mv scala-2.11.8 scala

          配置环境变量：sudo vim /etc/profile

          加入如下信息：

          退出保存：source /etc/profile

          命令行输入scala -versiom，显示如下

          使用时只需要输入scala即可，退出时输入     :quit

                 tar zxvf spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/hadoop

                 重命名为spark(个人习惯):sudo mv spark-1.6.1-bin-hadoop2.6 spark

               sudo vim /etc/profile

              输入以下：

               加入以下代码(注意 java，hadoop，scala，spark要根据自己的目录来)：

<code>              cp slaves.template slaves</code>

<code>              vim slaves</code>

              添加以下代码（默认就是localhost）：

         启动spark-master.sh

         cd $SPARK_HOME/sbin

         ./start-master.sh

         启动Spark Slave

         ./start-slaves.sh(注意是slaves)

           进入spark-shell界面

           进入spark目录下的bin目录，执行：./spark-shell

           ......

          (是不是和scala的shell一样呀)

1：上传Spark目录下的README.txt到hdfs上，例如我这里的存放为 /mr/spark/test （test是个文件，内容同README.txt一致）

2：用第五步的命令进入spark-shell

       执行：val file=sc.textFile("hdfs://172.16.48.202:9000/mr/spark/README.txt")

                   val count=file.flatMap(line =&gt; line.split(" ")).map(word =&gt; (word,1)).reduceByKey(_+_)

                   count.collect()

      每一步的执行结果为：

       最终的运行结果为：