Spark的僞分布安裝和wordcount測試一：環境說明二：hadoop僞分布安裝三：Scala安裝四：Spark安裝六：Spark的WordCount執行個體

基于hadoop2.6僞分布的Spark安裝和wordcount測試

             Ubuntu：15.10（不穩定版，建議安裝在穩定版，Ubuntu下XX..4是穩定的）

             Hadoop：2.6

             Scala：2.11.8

             Java：1.7.0

             Spark：1.6.1

          解壓到指定目錄：tar zxvf scala-2.11.8.tgz -C /usr/local/

          進入/usr/local/：cd /usr/local

          重命名為scala：mv scala-2.11.8 scala

          配置環境變量：sudo vim /etc/profile

          加入如下資訊：

          退出儲存：source /etc/profile

          指令行輸入scala -versiom，顯示如下

          使用時隻需要輸入scala即可，退出時輸入     :quit

                 tar zxvf spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/hadoop

                 重命名為spark(個人習慣):sudo mv spark-1.6.1-bin-hadoop2.6 spark

               sudo vim /etc/profile

              輸入以下：

               加入以下代碼(注意 java，hadoop，scala，spark要根據自己的目錄來)：

<code>              cp slaves.template slaves</code>

<code>              vim slaves</code>

              添加以下代碼（預設就是localhost）：

         啟動spark-master.sh

         cd $SPARK_HOME/sbin

         ./start-master.sh

         啟動Spark Slave

         ./start-slaves.sh(注意是slaves)

           進入spark-shell界面

           進入spark目錄下的bin目錄，執行：./spark-shell

           ......

          (是不是和scala的shell一樣呀)

1：上傳Spark目錄下的README.txt到hdfs上，例如我這裡的存放為 /mr/spark/test （test是個檔案，内容同README.txt一緻）

2：用第五步的指令進入spark-shell

       執行：val file=sc.textFile("hdfs://172.16.48.202:9000/mr/spark/README.txt")

                   val count=file.flatMap(line =&gt; line.split(" ")).map(word =&gt; (word,1)).reduceByKey(_+_)

                   count.collect()

      每一步的執行結果為：

       最終的運作結果為：