天天看點

《Hadoop與大資料挖掘》一2.4.3 動手實踐:編寫Word Count程式并打包運作

本節書摘來華章計算機《hadoop與大資料挖掘》一書中的第2章 ,第2.4.3節,張良均 樊 哲 位文超 劉名軍 許國傑 周 龍 焦正升 著 更多章節内容可以通路雲栖社群“華章計算機”公衆号檢視。

1)打開eclipse,建立mapreduce工程,如圖2-35、圖2-36所示。

需要配置hadoop的安裝目錄,因為這裡的eclipse安裝在windows系統上,是以這裡的hadoop安裝目錄就是指hadoop安裝包的解壓目錄。

建好的工程如圖2-37所示(注意,這裡還有相關jar包沒有列出)。

2)參考上一節的代碼編寫單詞計數程式。

《Hadoop與大資料挖掘》一2.4.3 動手實踐:編寫Word Count程式并打包運作

3)使用eclipse的export中的jar file工具打包成jar包,如圖2-38、圖2-39所示。

《Hadoop與大資料挖掘》一2.4.3 動手實踐:編寫Word Count程式并打包運作

4)擷取導出的jar包,通過linux連接配接工具把該jar包上傳到hadoop用戶端,并使用指令yarn jar的方式運作。

《Hadoop與大資料挖掘》一2.4.3 動手實踐:編寫Word Count程式并打包運作

5)檢視輸出結果資訊及相關監控資訊,并能進行簡要分析。

思考:

1)使用yarn jar的方式運作完程式後,終端輸出的資訊怎麼解讀?

2)檢視相關監控,除了使用浏覽器,還可以使用什麼方式查詢?