天天看點

centos+hadoop+hive 安裝centos下hadoop安裝

環境:windows10、virtualBox、centos6.8、hadoop2.6.0、 jdk1.7.0_79、mysql

本文主要分為4大塊,分别是virtualbox下centos安裝、hadoop安裝、hive安裝。

virtualbox下centos安裝

參見網址:

http://blog.csdn.net/risingsun001/article/details/37934975

特别提醒:

virtualbox安裝centos的時候需要設定

記憶體大概為1G左右

,否則centos不會顯示圖形化操作界面。

centos+hadoop+hive 安裝centos下hadoop安裝

virtualbox啊裝centos的時候網絡選擇

橋接模式
centos+hadoop+hive 安裝centos下hadoop安裝

啟動centos後需要設定連接配接網絡

centos+hadoop+hive 安裝centos下hadoop安裝

centos下hadoop安裝

安裝hadoop的需要注意jdk、hadoop的版本,因為這樣子網上相同的資料會比較好找,本次安裝使用的是hadoop2.6.0、 jdk1.7.0_79。

安裝hadoop需要了解下hadoop之間的免密登入的概念,hosts相關的修改等,都是比較細節的内容,但是容易踩坑。

參考文章:

安裝介紹:http://www.powerxing.com/install-hadoop-cluster/

安裝步驟(好文強力推薦):http://www.cnblogs.com/kevinq/p/5101679.html

免密登入:http://blog.csdn.net/w12345_ww/article/details/51910030

hadoop端口:

http://www.cnblogs.com/tnsay/p/5753838.html

機器配置

192.168.0.112 lebron1 作為master

192.168.0.113 lebron2 作為slave

安裝jdk

檢視已經安裝的jdk   rpm -qa | grep jdk 

解除安裝已經安裝的jdk   rpm remove -y xxx

下載下傳jdk安裝包   wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz

安裝jdk  解壓jdk-7u79-linux-x64.tar.gz到/opt/jdk1.7.0_79 并配置/etc/profile後執行source /etc/profile

export JAVA_HOME=/opt/jdk1.7.0_79

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin

配置hosts檔案

192.168.0.112 lebron1

192.168.0.113 lebron2

建立hadoop賬号

新增賬号 useradd hadoop

修改密碼 passwd hadoop

新增目錄 mkdir /usr/local/hadoop

修改權限 chmod 777 –R /usr/local/hadoop

hadoop免密登入

以下為lebron1機器的操作,lebron2機器的操作相同

su hadoop 切換到hadoop賬戶

ssh-keygen -t rsa 生成密鑰檔案id_rsa和id_rsa.pub

拷貝lebron1的id_rsa.pub内容到lebron2機器的authorized_keys

su 權限下修改/etc/ssh/sshd_config

RSAAuthentication  yes

PubkeyAuthentication  yes

AuthorizedKeysFile   .ssh/authorized_keys

重新開機sshd service sshd restart

測試免密連接配接 ssh lebron1 或 ssh lebron2

安裝hadoop

wget http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz

解壓到hadoop目錄 /usr/local/hadoop/hadoop-2.6.0

修改/etc/profile新增hadoop環境變量并執行source /etc/profile使生效

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

解決啟動問題:WARN util.NativeCodeLoader: Unable to loadnative-hadoop libraryforyour platform...using builtin-java classes where applicable

wget http://dl.bintray.com/sequenceiq/sequenceiq-bin/:hadoop-native-64-2.6.0.tar

tar -xvf hadoop-native-64-2.6.0.tar -C /usr/local/hadoop/hadoop-2.6.0/lib

tar -xvf hadoop-native-64-2.6.0.tar -C /usr/local/hadoop/hadoop-2.6.0/lib/native

ps:以下操作都在cd /usr/local/hadoop/hadoop-2.6.0/etc/hadoop進行 配置可以參見連結:http://www.cnblogs.com/kevinq/p/5101679.html

修改hadoop-env.sh檔案

修改yarn-env.sh檔案

修改core-site.xml檔案

centos+hadoop+hive 安裝centos下hadoop安裝

修改hdfs-site.xml檔案

centos+hadoop+hive 安裝centos下hadoop安裝

修改mapred-site.xml檔案

centos+hadoop+hive 安裝centos下hadoop安裝

修改yarn-site.xml檔案

centos+hadoop+hive 安裝centos下hadoop安裝

配置masters和slaves檔案

vim slaves 新增slave節點

centos+hadoop+hive 安裝centos下hadoop安裝

向各節點複制hadoop

将配置的hadoop2.6.0複制到各個節點,建議通過scp指令

格式化namenode

hadoop namenode -format,第一次啟動的時候需要執行

啟動hadoop和yarn

cd /usr/local/hadoop/hadoop-2.6.0/sbin

./start-all.sh

用jps檢驗各背景程序是否成功啟動

centos+hadoop+hive 安裝centos下hadoop安裝

PS:檢視日志确認下是否沒有報錯,如果有報錯肯定是某些地方配置沒有對,重新網上找資料修複即可,如果完全沒有問題可以通過hadoop的shell指令操作檢驗一下。

hive安裝

參見:http://blog.csdn.net/u014591781/article/details/52895176