環境:windows10、virtualBox、centos6.8、hadoop2.6.0、 jdk1.7.0_79、mysql
本文主要分為4大塊,分别是virtualbox下centos安裝、hadoop安裝、hive安裝。
virtualbox下centos安裝
參見網址:
http://blog.csdn.net/risingsun001/article/details/37934975
特别提醒:
virtualbox安裝centos的時候需要設定
記憶體大概為1G左右,否則centos不會顯示圖形化操作界面。
![](https://img.laitimes.com/img/_0nNw4CM6IyYiwiM6ICdiwiIn5GcuQWYhNDN5UmZxUjN2AjY3cTZkRjNhdTO3AjN2ADZwEWMfdWbp9CXt92Yu4GZjlGbh5SZslmZxl3Lc9CX6MHc0RHaiojIsJye.png)
virtualbox啊裝centos的時候網絡選擇
橋接模式啟動centos後需要設定連接配接網絡
centos下hadoop安裝
安裝hadoop的需要注意jdk、hadoop的版本,因為這樣子網上相同的資料會比較好找,本次安裝使用的是hadoop2.6.0、 jdk1.7.0_79。
安裝hadoop需要了解下hadoop之間的免密登入的概念,hosts相關的修改等,都是比較細節的内容,但是容易踩坑。
參考文章:
安裝介紹:http://www.powerxing.com/install-hadoop-cluster/
安裝步驟(好文強力推薦):http://www.cnblogs.com/kevinq/p/5101679.html
免密登入:http://blog.csdn.net/w12345_ww/article/details/51910030
hadoop端口:
http://www.cnblogs.com/tnsay/p/5753838.html機器配置
192.168.0.112 lebron1 作為master
192.168.0.113 lebron2 作為slave
安裝jdk
檢視已經安裝的jdk rpm -qa | grep jdk
解除安裝已經安裝的jdk rpm remove -y xxx
下載下傳jdk安裝包 wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz
安裝jdk 解壓jdk-7u79-linux-x64.tar.gz到/opt/jdk1.7.0_79 并配置/etc/profile後執行source /etc/profile
export JAVA_HOME=/opt/jdk1.7.0_79
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin
配置hosts檔案
192.168.0.112 lebron1
192.168.0.113 lebron2
建立hadoop賬号
新增賬号 useradd hadoop
修改密碼 passwd hadoop
新增目錄 mkdir /usr/local/hadoop
修改權限 chmod 777 –R /usr/local/hadoop
hadoop免密登入
以下為lebron1機器的操作,lebron2機器的操作相同
su hadoop 切換到hadoop賬戶
ssh-keygen -t rsa 生成密鑰檔案id_rsa和id_rsa.pub
拷貝lebron1的id_rsa.pub内容到lebron2機器的authorized_keys
su 權限下修改/etc/ssh/sshd_config
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
重新開機sshd service sshd restart
測試免密連接配接 ssh lebron1 或 ssh lebron2
安裝hadoop
wget http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz
解壓到hadoop目錄 /usr/local/hadoop/hadoop-2.6.0
修改/etc/profile新增hadoop環境變量并執行source /etc/profile使生效
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
解決啟動問題:WARN util.NativeCodeLoader: Unable to loadnative-hadoop libraryforyour platform...using builtin-java classes where applicable
wget http://dl.bintray.com/sequenceiq/sequenceiq-bin/:hadoop-native-64-2.6.0.tar
tar -xvf hadoop-native-64-2.6.0.tar -C /usr/local/hadoop/hadoop-2.6.0/lib
tar -xvf hadoop-native-64-2.6.0.tar -C /usr/local/hadoop/hadoop-2.6.0/lib/native
ps:以下操作都在cd /usr/local/hadoop/hadoop-2.6.0/etc/hadoop進行 配置可以參見連結:http://www.cnblogs.com/kevinq/p/5101679.html修改hadoop-env.sh檔案
修改yarn-env.sh檔案
修改core-site.xml檔案
修改hdfs-site.xml檔案
修改mapred-site.xml檔案
修改yarn-site.xml檔案
配置masters和slaves檔案
vim slaves 新增slave節點
向各節點複制hadoop
将配置的hadoop2.6.0複制到各個節點,建議通過scp指令
格式化namenode
hadoop namenode -format,第一次啟動的時候需要執行
啟動hadoop和yarn
cd /usr/local/hadoop/hadoop-2.6.0/sbin
./start-all.sh
用jps檢驗各背景程序是否成功啟動
PS:檢視日志确認下是否沒有報錯,如果有報錯肯定是某些地方配置沒有對,重新網上找資料修複即可,如果完全沒有問題可以通過hadoop的shell指令操作檢驗一下。
hive安裝
參見:http://blog.csdn.net/u014591781/article/details/52895176