eclipse連接配接hadoop

1. 準備：

    linux上已經安裝好hadoop叢集或者單機；

    windows上有個hadoop-0.20.2檔案夾；

    Eclipse Europa 3.3.2

    (勿使用其他版本，測試沒通過)下載下傳位址： http://www.eclipse.org/downloads/packages/release/europa/winter

2. 安裝eclipse插件：

    把hadoop-0.20.2/contrib/eclipse-plugin下的hadoop-0.20.2-eclipse-plugin.jar檔案拷到eclipse 的plugins目錄下，重新開機eclipse，在Window-》Open Perspective-》other，彈出的視窗中應該有一項Map/Reduce項，代表安裝成功了。如果沒有的話，把eclipse下的 configuration/org.eclipse.update檔案夾删了，再重新開機eclipse。

3. 配置環境：

啟動eclipse，轉到Map/Reduce Perspective,在上圖的Map/Reduce Locations裡，建立一個Location，填入以下值

    * Location Name -- localhost

    * Map/Reduce Master  (mapred.job.tracker中配置的jobtracker位址和端口)

          o Host -- 10.125.50.20

          o Port -- 50021

    * DFS Master (fs.default.name中配置的host和端口)

          o Host -- hd021-test.nh.**

          o Port -- 8020

    * User name -- lxw (用來送出mr任務的使用者名)

4. 上傳檔案到hdfs:

   hadoop fs -put 10.125.50.20.pub /user/lxw/input/

   這時，在eclipse的Project explorer的DFS location中，應該能反應變化，沒有的話，reconnect一下

5. 建立Map/Reduce Project：

   右鍵點選  Project Explorer 視窗，選擇 New -> Project.. 找到 Map/Reduce Project， 點Next ，輸入名字。

   點選下面的Config Hadoop Install Directiory，輸入Hadoop的目錄，如：D:\hadoop-0.20.2

6. 建立mr程式：

 右鍵點選新建立的 Hadoop 工程，選擇  New -> Other 轉到 Map/Reduce 檔案夾, 選擇 MapReduceDriver 然後點選 Next ，輸入名字，點選Finish。

這樣會自動生成一些代碼，不用管，直接删掉，然後寫自己的mr程式即可；

7. 運作mr程式：

選擇 Run As --&gt Run on Hadoop. 彈出以下視窗：

選擇 "Choose existing hadoop location" , 然後選擇剛才建立的hadoop配置資訊，點選fihish即可開始運作；

參考：http://superlxw1234.iteye.com/blog/1583164

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/28598517/viewspace-771992/，如需轉載，請注明出處，否則将追究法律責任。

轉載于:http://blog.itpub.net/28598517/viewspace-771992/