天天看點

《深入了解Hadoop(原書第2版)》——3.2使用Cloudera虛拟機搭建開發環境

本節書摘來自華章計算機《深入了解hadoop(原書第2版)》一書中的第3章,第3.2節,作者 [美]薩米爾·瓦德卡(sameer wadkar),馬杜·西德林埃(madhu siddalingaiah),傑森·文納(jason venner),譯 于博,馮傲風,更多章節内容可以通路雲栖社群“華章計算機”公衆号檢視。

本書着重講解基于hadoop系統的開發。hadoop系統的安裝是一個比較複雜的操作過程,服務提供商會提供安裝工具使得該安裝操作易如反掌。比如,cloudera公司開發的cloudera manager就大大簡化了hadoop系統的安裝。作為一個開發人員,我們希望有一個可快速安裝且易于搭建的可靠的開發環境。cloudera公司釋出了基于vmware 和 virtualbox的cdh5.0。如果你沒有安裝這些虛拟機的播放器,請先下載下傳安裝其最新版本。然後,從下面這個連結下載下傳cloudera 5 quickstart vm:

《深入了解Hadoop(原書第2版)》——3.2使用Cloudera虛拟機搭建開發環境

需要注意的是,cloudera 5虛拟機需要8gb的記憶體。請確定你的機器有足夠的記憶體來運作這個虛拟機。然後,一步步地執行剩下的操作步驟,自己的開發環境最終會安裝成功。

當你啟動虛拟機之後,你會看到如圖3-1的界面。箭頭指向的是虛拟機中桌面上的eclipse圖示。因為在eclipse環境中已經将hadoop程式配置為以本地模式的方式執行,是以,打開eclipse即可開發hadoop程式代碼。

你要使用hadoop 2.0系統作為開發環境的工作就完成了。該開發環境也允許使用者以僞分布式模式的方式來運作作業,以此來模拟測試該作業代碼在真實叢集環境下的運作情況。這是一套集程式開發、單元測試和內建測試于一體的完整全面的開發環境。在該開發環境中,隻要稍加配置就可以使用cloudera manager,這是一個監控和管理作業的使用者友好的gui(圖形使用者界面)。你最好能夠熟練使用這個工具,它會極大地幫你簡化作業的管理和跟蹤工作。

《深入了解Hadoop(原書第2版)》——3.2使用Cloudera虛拟機搭建開發環境

我們強烈推薦你使用上述方法來快速地搭建hadoop2.0開發環境。

如果要使用本節講到的cloudera虛拟機來搭建hadoop開發環境,你就無須了解hadoop系統安裝步驟了。但是我們仍然在附錄a中介紹了hadoop系統在windows 和 linux平台上的安裝過程。你可以按照附錄a中介紹的步驟,安裝一個在僞分布式模式下運作的hadoop系統。

繼續閱讀