天天看點

使用Eclipse開發及測試Spark的環境搭建及簡單測試

  2、打開後建立一個名為WordCount的工程(這個應該都知道吧File-->New-->Scala Project),會發現有個Scala Library container[2.11.7],因為這個不是我們需要的版本,需要改一下;即右擊WordCount-->Properties-->Scala Compile-->Use Project Settings-->Scala Installation,選擇第二個,即Latest 2.10 bundle (dynamic),然後點選OK

  PS:如果你的scala版本是2.11.x,則可以忽略這步。

使用Eclipse開發及測試Spark的環境搭建及簡單測試

  3、右擊WordCount-->Build Path-->Configure Build Path-->Libraries-->Add External JARs...選擇你解壓的spark-assembly-1.0.0-hadoop1.0.4.jar,然後點選OK

使用Eclipse開發及測試Spark的環境搭建及簡單測試

  4、此時所有的包依賴都導入成功,然後建立一個Scala類,即可開發Spark。

下面給出史上最詳細的程式:

  1、如果想要在本地上搞Spark的話:

使用Eclipse開發及測試Spark的環境搭建及簡單測試
使用Eclipse開發及測試Spark的環境搭建及簡單測試

View Code

  通過點選右鍵,選擇Run As-->Scala Application,然後出現運作結果:

使用Eclipse開發及測試Spark的環境搭建及簡單測試
使用Eclipse開發及測試Spark的環境搭建及簡單測試

  2、如果想要在叢集上搞Spark的話:

使用Eclipse開發及測試Spark的環境搭建及簡單測試
使用Eclipse開發及測試Spark的環境搭建及簡單測試

  (1)将你的程式打包到你的linux,運作Spark叢集。具體的打包過程為:右鍵你需要打包的檔案名如:WordCount.scala,然後-->Export-->Java-->JAR file,選擇想要導出的路徑,點選OK!

  (2)然後導出的包複制到你的linux系統上,我的目錄為

    

使用Eclipse開發及測試Spark的環境搭建及簡單測試

  然後打開你的hadoop叢集和spark叢集,用jps檢視一下。    

使用Eclipse開發及測試Spark的環境搭建及簡單測試

  然後執行指令:  

使用Eclipse開發及測試Spark的環境搭建及簡單測試
使用Eclipse開發及測試Spark的環境搭建及簡單測試

此時運作成功!

當神已無能為力,那便是魔渡衆生

下一篇: CURL檢查頁面

繼續閱讀