實驗采用的剛裝好的三台虛拟機，名字分别為master、slave1、slave2.
用到的軟體如下：
一、前期操作
1、啟動網卡：（三台機器）
修改配置檔案：
vi /etc/sysconfig/network-scripts/ifcfg-ens33
将ONBOOT=no改為ONBOOT=yes，esc、:wq 儲存退出
重新開機網卡：
sudo service network restart
ipaddr 或 ifconfig檢視ip位址
使用xshell軟體遠端連接配接電腦
2、上傳相關軟體（master）
建立安裝包目錄 mkdir /opt/soft
使用ftp工具上傳軟體，這裡使用的是Xftp
3、修改主機名（三台機器）
以master為例
hostnamectl set-hostname master
永久修改主機名 修改network相關參數
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
下載下傳相關工具
yum install -y net-tool
重新開機計算機：reboot
檢視是否生效：hostname
4、配置hosts檔案（三台機器）
vi /etc/hosts
内容如下：（ip位址視具體電腦的ip而定，使用ipaddr或ifconfig指令檢視）
192.168.72.131 master
192.168.72.132 slave1
192.168.72.132 slave2
其餘兩台機器相同操作
5、關閉防火牆（三台機器）
關閉防火牆：
systemctl stop firewalld
禁止開機啟動：
systemctl disable firewalld
檢視狀态：
systemctl status firewalld
#或
firewall-cmd --state
6、時間同步
使用date指令檢視機器目前時間
選擇時區：tzselect 依次選擇 亞洲 中國 中原標準時間 是否覆寫
5Asia->9China->1Beijing Time->1Yes
下載下傳ntp（三台機器）
yum install -y ntp
修改ntp配置檔案（master）
vi /etc/ntp.conf
末尾添加内容如下
service 127.127.1.0 #local clock
fudge 127.127.1.0 stratum 10 #stratum設定為其他值也可以，範圍0~15
重新開機ntp服務：
/bin/systemctl restart ntpd.service
其他兩台機器使用指令ntpdate master同步該master伺服器時間
ntpdate master
7、配置ssh免密
産生公鑰秘鑰（三台機器）
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
進入目錄檢視：id_dsa為私鑰，id_dsa.pub為公鑰
cd .ssh/
在.ssh/路徑下操作，将公鑰檔案複制成authorized_keys檔案（master）
cat id_dsa.pub >> authorized_keys
使用ssh master指令連接配接自己，也叫做ssh内回環
使用exit退出
讓主節點能夠通過ssh免密登入子節點
複制mater公鑰檔案到.ssh/目錄且重命名為master_dsa.pub（slave1）
scp master:~/.ssh/id_dsa.pub ./master_dsa.pub
.ssh/路徑下将mater節點的公鑰檔案追加到authorized_keys中（slave1）
cat master_dsa.pub >> authorized_keys
這是master就可以免密登入slave1了。
在slave2中按照在slave1操作執行即可。
二、軟體安裝
1、JDK的安裝（三台機器）
建立工作路徑并解壓JDK
mkdir -p /usr/java
tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz -C /usr/java/
修改環境變量：
vi /etc/profile
添加内容如下：
#jdk
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
生效環境變量：
source /etc/profile
檢視java版本：
java -version
将master中的JDK複制到slave1、slave2中（保證slave1、slave2中已有相應目錄）
scp -r /usr/java/jdk1.8.0_171/ slave1:/usr/java/
scp -r /usr/java/jdk1.8.0_171/ slave2:/usr/java/
2、zookeeper的安裝（三台機器）
修改hosts檔案（三台機器）可以在之前就設定好
192.168.72.131 master master.root
192.168.72.132 slave1 slave1.root
192.168.72.133 slave2 slave2.root
建立zookeeper工作目錄并解壓軟體包（master）：
mkdir -p /usr/zookeeper
tar -zxvf /opt/soft/zookeeper-3.4.10.tar.gz -C /usr/zookeeper/
配置檔案conf/zoo.cfg:進入zookeeper-3.4.10/conf目錄，将zoo_sample.cfg拷貝一份并命名為zoo.cfg
scp zoo_sample.cfg zoo.cfg
修改zoo.cfg:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata #需要修改
clientPort=2181
#以下資訊需要添加
dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
建立配置檔案中的兩個目錄，zookeeper-3.4.10目錄下
mkdir zkdata
mkdir zkdatalog
進入zkdata檔案夾，建立檔案myid 輸入zoo.cfg檔案中server後面的數字，比如master中就填入1
cd zkdata
vi myid
遠端分發安裝檔案到子節點：
scp -r /usr/zookeeper [email protected]:/usr/
scp -r /usr/zookeeper [email protected]:/usr/
修改myid檔案，slave1中為2，slave2中為3（slave1和slave2中）
vi /usr/zookeeper/zookeeper-3.4.10/zkdata/myid
配置環境變量：（三台機器）
#zookeeper
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.10
PATH=$PATH:$ZOOKEEPER_HOME/bin
source /etc/profile生效
啟動zookeeper叢集（三台機器）
啟動：
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start
檢視狀态：
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh status
jps檢視程序：程序名：QuorumPeerMain
3、Hadoop的安裝
建立工作目錄并解壓軟體包到相應目錄：（master）
mkdir /usr/hadoop
tar -zxvf /opt/soft/hadoop-2.7.3.tar.gz -C /usr/hadoop/
配置環境變量：
#hadoop
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin
source /etc/profile生效檔案
編輯hadoop環境配置檔案hadoop-env.sh
修改export JAVA_HOME=
vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171
編輯core-site.xml檔案
vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
<description></description>
</property>
<property>
<name>io.file.buff.size</name>
<value>131072</value>
</property>
<property>
<name>fs.checkpoint.period</name>
<value>60</value>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
</property>
</configuration>
編輯yarn-site.xml檔案
vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.nodename.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodename.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
編輯hdfs-site.xml檔案
vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.name.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
編輯mapred-site.xml（沒有這個檔案，需要将mapred-site.xml.template複制成mapred-site.xml）
cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
<configuration>
<property>
<!-- 指定MapReduce運作在yarn上 -->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
編寫slaves檔案，添加子節點
vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves
slave1
slave2
編寫master檔案，添加主節點
vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/master
master
分發hadoop（master）
scp -r /usr/hadoop/ [email protected]:/usr/
scp -r /usr/hadoop/ [email protected]:/usr/
子節點配置環境變量（slave1、slave2）
#hadoop
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin
master中格式化hadoop（/usr/hadoop/hadoop-2.7.3/etc/hadoop目錄下）
hadoop namenode -format
master中開啟叢集，僅在master中開啟操作指令，會帶起從節點的啟動
/usr/hadoop/hadoop-2.7.3/sbin/start-all.sh
jps檢視程序，
master中的SecondaryNameNode、ResourceManager、NameNode
slave1、slave2中的程序：DataNode、NodeManager
浏覽器輸入masterIp:50070通路叢集WebUI,比如：192.168.72.131:50070
檢視hdfs
檢視根目錄檔案：hadoop fs -ls /
在hdfs上建立檔案夾data：hadoop fs -mkdir /data
再次檢視會有建立的檔案夾：hadoop fs -ls /
在web中檢視的方式：Utilities->Browse the file system
4、hbase的安裝
建立工作路徑：
mkdir -p /usr/hbase
解壓軟體包：
tar -zxvf /opt/soft/hbase-1.2.4-bin.tar.gz -C /usr/hbase/
修改配置檔案hbase-env.sh
vi /usr/hbase/hbase-1.2.4/conf/hbase-env.sh
# Set environment variables here.
export HBASE_MANAGES_ZK=false
# The java implementation to use. Java 1.7+ required.
export JAVA_HOME=/usr/java/jdk1.8.0_171
# Extra Java CLASSPATH elements. Optional.
export HBASE_CLASSPATH=/usr/hadoop/hadoop-2.7.3/etc/hadoop
配置hbase-site.xml
vi /usr/hbase/hbase-1.2.4/conf/hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>hdfs://master:6000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/zookeeper/zookeeper-3.4.10</value>
</property>
</configuration>
配置regionservers：這裡列出了希望運作的HRegionServer，一行寫一個host。列在這裡的server會随着叢集的啟動而啟動，叢集的停止而停止。
vi /usr/hbase/hbase-1.2.4/conf/regionservers
slave1
slave2
将hadoop配置檔案拷入hbase的conf目錄下（目前位置為hbase的conf檔案夾），注意後面的點
cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml .
cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml .
分發hbase（master）
scp -r /usr/hbase [email protected]:/usr/
scp -r /usr/hbase [email protected]:/usr/
配置環境變量（三台機器）
#hbase
export HBASE_HOME=/usr/hbase/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin
運作和測試（在master上執行，保證hadoop和zookeeper已開啟）
/usr/hbase/hbase-1.2.4/bin/start-hbase.sh
相關程序：
master：HMaster
slave：HRegionServer
通路master的hbase web界面：http://masterIP:16010/master-status
例如：http://192.168.72.131:16010/master-status
進入hbase互動界面，檢視狀态與版本資訊等
[[email protected] ~]# hbase shell
hbase(main):002:0> status
1 active master, 0 backup masters, 2 servers, 0 dead, 1.0000 average load
hbase(main):003:0> version
1.2.4, r67592f3d062743907f8c5ae00dbbe1ae4f69e5af, Tue Oct 25 18:10:20 CDT 2016
hbase(main):004:0> exit
[[email protected] ~]#
三、建構資料倉庫
1、slave2中安裝mysql server
安裝EPEL源：
yum -y install epel-release
安裝mysql server包，下載下傳源安裝包（如果沒有wget需要下載下傳wget）
yum install -y wget
wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm
安裝源：
rpm -ivh mysql57-community-release-el7-8.noarch.rpm
檢視是否有包：mysql-community.repo、mysql-community-source.repo
cd /etc/yum.repos.d
ll
安裝MySQL：
yum install -y mysql-community-server
啟動服務：
重置所有修改過的配置檔案：
systemctl daemon-reload
開啟服務：
systemctl start mysqld
開機自啟：
systemctl enable mysqld
擷取初始密碼：
grep 'temporary password' /var/log/mysqld.log
登入MySQL：
mysql -u root -p
修改MySQL密碼安全政策：
設定密碼強度為低級：
mysql> set global validate_password_policy=0;
Query OK, 0 rows affected (0.00 sec)
設定密碼長度：
mysql> set global validate_password_length=4;
Query OK, 0 rows affected (0.00 sec)
修改本地密碼：
mysql> alter user 'root'@'localhost' identified by '123456';
Query OK, 0 rows affected (0.01 sec)
使用\q或exit退出mysql
設定遠端登入：
用新密碼登入mysql:mysql -u root -p
建立使用者：
mysql> create user 'root'@'%' identified by '123456';
Query OK, 0 rows affected (0.00 sec)
允許遠端連接配接：
mysql> grant all privileges on *.* to 'root'@'%' with grant option;
Query OK, 0 rows affected (0.00 sec)
重新整理權限：
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
2、安裝hive（master、slave1）
master和slave1中建立工作目錄：
mkdir -p /usr/hive
master中解壓安裝包：
tar -zxvf /opt/soft/apache-hive-2.1.1-bin.tar.gz -C /usr/hive
master遠端複制解壓檔案到slave1中：
scp -r /usr/hive/apache-hive-2.1.1-bin [email protected]:/usr/hive
設定環境變量（master、slave1）：
#hive
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin
因為伺服器端需要和mysql通信，是以需要mysql的lib安裝包到HIVE_HOME/conf目錄下（master）
複制到slave2中：
scp /opt/soft/mysql-connector-java-5.1.5-bin.jar [email protected]:/lib
複制到slave1中：
scp /opt/soft/mysql-connector-java-5.1.5-bin.jar [email protected]:/usr/hive/apache-hive-2.1.1-bin/lib
修改hive-env.sh中HADOOP_HOME：（salve1）
複制conf下的hive-env.sh.template并重命名為hive-env.sh
cp /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh.template /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh
編輯HADOOP_HOME
vi /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh
HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
修改hive-site.xml（slave1 conf檔案夾建立）（slave1）
vi /usr/hive/apache-hive-2.1.1-bin/conf/hive-site.xml
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>
jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true
</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>datanucleus.schme,autoCreateAll</name>
<value>true</value>
</property>
</configuration>
Master作為用戶端
解決版本沖突和 jar 包依賴問題。 由于用戶端需要和 Hadoop 通信，是以需要更改 Hadoop 中 jline 的版本。即 保留一個高版本的 jline jar 包，從 hive 的 lib 包中拷貝到 Hadoop 中 lib 位置
（master和slave1）
cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/
master中修改hive-env.sh（複制模闆檔案并重命名）
cp /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh.template /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh
vi /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh
HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
master中修改hive-site.xml（master conf檔案夾建立）
vi /usr/hive/apache-hive-2.1.1-bin/conf/hive-site.xml
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://slave1:9083</value>
</property>
</configuration>
啟動hive：
啟動hive server（slave1）
/usr/hive/apache-hive-2.1.1-bin/bin/hive --service metastore
啟動hive client（master）
/usr/hive/apache-hive-2.1.1-bin/bin/hive