天天看點

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

一、在Ubuntu下建立Hadoop組和hadoop使用者

增加hadoop使用者組,同時在該組裡增加hadoop使用者,後續在涉及到hadoop操作時,我們使用該使用者。

1、建立hadoop使用者組

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

2、建立hadoop使用者

sudo adduser -ingroup hadoop hadoop

回車後會提示輸入新的UNIX密碼,這是建立使用者hadoop的密碼,輸入回車即可。

如果不輸入密碼,回車後會重新提示輸入密碼,即密碼不能為空。

最後确認資訊是否正确,如果沒問題,輸入 Y,回車即可。

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

3、為hadoop使用者添權重限

輸入:sudo gedit /etc/sudoers

回車,打開sudoers檔案

給hadoop使用者賦予和root使用者同樣的權限

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)
hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

二、用新增加的hadoop使用者登入Ubuntu系統

三、安裝ssh

sudo apt-get install openssh-server

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

安裝完成後,啟動服務

sudo /etc/init.d/ssh start

檢視服務是否正确啟動:ps -e | grep ssh

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

設定免密碼登入,生成私鑰和公鑰

ssh-keygen -t rsa -P ""

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

此時會在/home/hadoop/.ssh下生成兩個檔案:id_rsa和id_rsa.pub,前者為私鑰,後者為公鑰。

下面我們将公鑰追加到authorized_keys中,它使用者儲存所有允許以目前使用者身份登入到ssh用戶端使用者的公鑰内容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

登入ssh

ssh localhost

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

退出

exit

四、安裝Java環境

sudo apt-get install openjdk-7-jdk

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

檢視安裝結果,輸入指令:java -version,結果如下表示安裝成功。

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

五、安裝hadoop2.4.0

2、安裝

解壓

sudo tar xzf hadoop-2.4.0.tar.gz

假如我們要把hadoop安裝到/usr/local下

拷貝到/usr/local/下,檔案夾為hadoop

sudo mv hadoop-2.4.0 /usr/local/hadoop

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

賦予使用者對該檔案夾的讀寫權限

sudo chmod 774 /usr/local/hadoop

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

3、配置

1)配置~/.bashrc

配置該檔案前需要知道Java的安裝路徑,用來設定JAVA_HOME環境變量,可以使用下面指令行檢視安裝路徑

update-alternatives - -config java

執行結果如下:

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

完整的路徑為

/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

我們隻取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64

配置.bashrc檔案

sudo gedit ~/.bashrc

該指令會打開該檔案的編輯視窗,在檔案末尾追加下面内容,然後儲存,關閉編輯視窗。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

最終結果如下圖:

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

執行下面命,使添加的環境變量生效:

source ~/.bashrc

2)編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh

執行下面指令,打開該檔案的編輯視窗

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME變量,修改此變量如下

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

修改後的hadoop-env.sh檔案如下所示:

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

六、WordCount測試

單機模式安裝完成,下面通過執行hadoop自帶執行個體WordCount驗證是否安裝成功

/usr/local/hadoop路徑下建立input檔案夾

mkdir input

拷貝README.txt到input

cp README.txt input

執行WordCount

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

執行結果:

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)

執行 cat output/*,檢視字元統計結果

hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)
hadoop linux 單機安裝,Ubuntu 14.04下安裝Hadoop2.4.0 (單機模式)