Spark的這些事<一>——Windows下spark開發環境搭建

一、首先準備需要安裝的軟體

scala-2.10.4

scala-sdk-4.4.1-vfinal-2.11-win32.win32.x86_64

spark-1.6.2-bin-hadoop2.6

當然還有jdk這裡就不說了

scala-2.10.4下載下傳後直接安裝~

scala-sdk-4.4.1-vfinal-2.11-win32.win32.x86_64和spark-1.6.2-bin-hadoop2.6下載下傳後直接解壓

scalaide解壓後就是一個eclipse，這個大家都比較熟悉了。打開ide，在解壓後的spark包中的lib檔案夾下找到spark-assembly-1.6.2-hadoop2.6.0，添加到ide中。

然後環境就搭建完成了~

下面就來開發一個測試程式試一下：

右鍵運作：

可以看到已經執行成功了！

<a href="https://github.com/windyqinchaofeng/sparkcoding/blob/master/src/com/csap/spark/wordcount.scala">源碼</a>

spark的這些事系列文章：

<a href="http://blog.csdn.net/windyqcf/article/details/51944621">spark的這些事&lt;一&gt;——windows下spark開發環境搭建</a>

<a href="http://blog.csdn.net/windyqcf/article/details/52190707">spark的這些事&lt;二&gt;——幾個概念</a>

<a href="http://blog.csdn.net/windyqcf/article/details/52233646">spark的這些事&lt;三&gt;——spark常用的transformations 和actions</a>