数仓小组作业（一）Mac 安装与配置JDK、SSH、MySql、Hadoop、Hive

一、安装与配置JDK

时间太久远了，直接放个参考链接

https://www.jianshu.com/p/a85658902f26

安装idk之后，配置环境变量，需要找到jdk的位置，输入如下命令： 

/usr/libexec/java_home
           

返回jdk的位置，先复制它

/Library/Java/JavaVirtualMachines/jdk1.8.0_251.jdk/Contents/Home 

复制到环境变量文件中。由于vim编辑器不好操作，推荐使用sublime来编辑配置文件：（前提是你已经安装了sublime）

ln  /Applications/Sublime\ Text.app/Contents/SharedSupport/bin/subl /usr/local/bin/subl
           

然后打开环境变量文件：

subl ~/.bash_profile
           

配置成这样：（sorry第二句我不知道必不必要）

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_251.jdk/Contents/Home

export CLASSPAHT=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

二、安装与配置SSH

参考链接：

https://www.cnblogs.com/micrari/p/5716851.html

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh localhost
           

成功结果： 

三、安装与配置MySql

参考链接：

https://www.cnblogs.com/lilyo/p/12904439.html

提示：不要用brew install mysql，会报错。 

1、官网下载安装包

https://dev.mysql.com/downloads/mysql/

下载第一个

2、 双击安装包，安装时注意选择第二个：“Use Legacy Password Encryption”

3、安装完就可以在“系统偏好设置”-“mysql”里看到

 4、打开终端，输入：

mysql -uroot -p
           

发现报错：

zsh: command not found: mysql 
           

这个时候运行下面两行命令：

cd /usr/local/bin
ln -fs /usr/local/mysql/bin/mysql mysql
           

 再次输入：

mysql -uroot -p
           

就连接上了。输入quit可以退出。

四、安装与配置Hadoop

参考链接：

https://blog.csdn.net/weixin_36995355/article/details/107880338

1、安装hadoop

brew install hadoop
           

2、环境变量配置

和第一步的jdk环境变量配置类似（sorry我也不知道这么多环境变量必不必要）

# Hadoop

export HADOOP_HOME=/usr/local/Cellar/hadoop/3.3.0/libexec

export HADOOP_COMMON_HOME=$HADOOP_HOME

export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:/usr/local/Cellar/scala/bin

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export JAVA_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

export HADOOP_ROOT_LOGGER=DEBUG,console 

3、配置 hadoop-env.sh（它的位置在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

复制它，然后编辑hadoop-env.sh

cd /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop
vim hadoop-env.sh
           

这样，我们通过如下命令就可以用sublime打开hadoop-env.sh了：

subl hadoop-env.sh
           

 把第一步复制的jdk位置放到这里，保存。（HADOOP_HOME那个我不确定必不必要）

4、配置 core-site.xml （它的位置同样在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

subl core-site.xml
           

添加以下代码： 

<configuration>  <property>   <name>hadoop.tmp.dir</name>    <value>file:/usr/local/Cellar/hadoop/3.3.0/libexec/tmp</value>  </property>  <property>   <name>fs.defaultFS</name>   <value>hdfs://localhost:9000</value>  </property> </configuration>

5、配置 hdfs-site.xml（它的位置同样在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

subl hdfs-site.xml
           

添加以下代码：

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property>  <property>       <name>dfs.namenode.name.dir</name>      <value>file:/usr/local/Cellar/hadoop/3.3.0/libexec/tmp/dfs/name</value> </property> <property>      <name>dfs.namenode.data.dir</name>      <value>file:/usr/local/Cellar/hadoop/3.3.0/libexec/tmp/dfs/data</value> </property> </configuration>

6、配置 mapred-site.xml（它的位置同样在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

subl mapred-site.xml
           

添加以下代码：

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

6、配置 yarn-site.xml （它的位置同样在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

subl yarn-site.xml
           

添加以下代码：

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> </configuration>

7、格式化文件系统

cd ..
cd ..
bin/hdfs namenode -format
           

结果有一大串，不截图了。

8、启动 NameNode 和 DataNode

sbin/start-dfs.sh
           

结果如下：

验证NameNode 和 DataNode是否开启，用下面命令查看：

jps

可以看到有NameNode和DataNode。

此时可以打开 http://localhost:9870，看到页面：

9、 启动yarn

sbin/start-yarn.sh
           

返回如下：

此时可以打开 http://localhost:8088，看到页面： 

这样，hadoop就ok了～ 

五、安装与配置Hive

1、安装hive

brew install hive
           

2、配置hive-site.xml

cd /usr/local/Cellar/hive/3.1.2_2/libexec/conf
           

有的配置教程是复制现有的hive-default.xml.template成hive-site.xml，再在里面修改，但不是这样的，我们要新建hive-site.xml

touch hive-site.xml
subl hive-site.xml
           

添加如下内容

<configuration>

  <property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;serverTimezone=GMT</value>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>root</value>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>12345678</value>

  </property>

  <property>

    <name>hive.exec.local.scratchdir</name>

    <value>/tmp/hive</value>

  </property>

  <property>

    <name>hive.querylog.location</name>

    <value>/tmp/hive</value>

  </property>

  <property>

    <name>hive.downloaded.resources.dir</name>

    <value>/tmp/hive</value>

  </property>

  <property>

    <name>hive.server2.logging.operation.log.location</name>

    <value>/tmp/hive</value>

  </property>

</configuration>

3、安装mysql-connector

https://cdn.mysql.com//archives/mysql-connector-java-8.0/mysql-connector-java-8.0.20.tar.gz

我把它安装到桌面的，先解压，把里面的jar文件提出来放在桌面

要把它复制到hive的lib文件，命令如下：

cd ~/desktop
cp mysql-connector-java-8.0.20.jar /usr/local/Cellar/hive/3.1.2_2/libexec/lib
           

4、初始化库

cd /usr/local/Cellar/hive/3.1.2_2/libexec
schematool -initSchema -dbType mysql
           

如果你第二次执行schematool -initSchema -dbType mysql，则需要在mysql中删掉hive，不然要报错：

5、启动hive

hive
           

启动成功！