由于小编在本学期有一门课程需要学习hadoop,需要在ubuntu的linux系统下搭建Hadoop环境，在这个过程中遇到一些问题，写下这篇博客来记录这个过程，并把分享给大家。
Hadoop的安装方式
- 单机模式:Hadoop默认模式为非分布式模式(本地模式)，无需 进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试
- 伪分布式模式:Hadoop可以在单节点上以伪分布式的方式运行， Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也 作为 DataNode，同时，读取的是 HDFS 中的文件
- 分布式模式:使用多个节点构成集群环境来运行Hadoop
创建Hadoop用户(可选)
如果安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为hadoop 的用户，首先按打开终端窗口，输入如下命令创建新用户 :
sudo useradd –m hadoop –s /bin/bash 上面这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell 接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码:
sudo passwd hadoop 可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘 手的权限问题:
sudo adduser hadoop sudo SSH登录权限设置
SSH是什么?
SSH 为 Secure Shell 的缩写，是建立在应用层和传输层基础上的安全协议。 SSH 是目前较可靠、专为远程登录会话和其他网络服务提供安全性的协议。 利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是 UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。 SSH是由客 户端和服务端的软件组成，服务端是一个守护进程(daemon)，它在后台运 行并响应来自客户端的连接请求，客户端包含ssh程序以及像scp(远程拷 贝)、slogin(远程登陆)、sftp(安全文件传输)等其他的应用程序.
配置SSH的原因
Hadoop名称节点(NameNode)需要启动集群中所有机器的Hadoop守护进程，这个过 程需要通过SSH登录来实现。Hadoop并没有提供SSH输入密码登录的形式，因此，为 了能够顺利登录每台机器，需要将所有机器配置为名称节点可以无密码登录它们。
配置SSH的无密码登录
安装openssh-server( 通常Linux系统会默认安装openssh的客户端软件openssh-client)，所以需要自己安装一下服务端。
sudo apt-get install openssh-server 输入 cd .ssh目录下，如果没有.ssh文件 输入 ssh localhost生成。
cd ~/.ssh/ 生成秘钥
ssh-keygen -t rsa 
将Master中生成的密钥加入授权（authorized_keys）
cat id_rsa.pub # 查看生成的公钥 
cat id_rsa.pub >> authorized_keys # 加入授权
chmod 600 authorized_keys # 修改文件权限，如果不修改文件权限，那么其它用户就能查看该授权 完成后，直接键入“ssh localhost”，能无密码登录即可，
键入“exit”退出，到此SSH无密码登录配置就成功了。
安装Java环境
scp命令传输Mac的文件到ubuntu
因为老师给了我们的java的jdk安装包，想着不用去ubuntu重新下载，所以就想到了利用scp命令传输Mac的文件到ubuntu，利用这个命令前提是Ubuntu安装了SSH服务器，在之前我们已经有了这步操作。
利用ifconfig查看ubuntu服务器的局域网IP地址
以下是利用scp命令传输文件的基本格式：
1. 本地文件传输到服务器
| 从本地将文件传输到服务器 | 从本地将文件夹传输到服务器 |
|---|---|
| scp[本地文件的路径] [服务器用户名]@[服务器地址]:[服务器上存放文件的路径] | scp -r[本地文件的路径] [服务器用户名]@[服务器地址]:[服务器上存放文件的路径] |
| scp /Users/mac/Desktop/test.txt [email protected]:/root | scp -r /Users/mac/Desktop/test [email protected]:/root |
2. 服务器文件传输到本地
| 将服务器上的文件传输到本地 | 将服务器上的文件夹传输到本地 |
|---|---|
| scp [服务器用户名]@[服务器地址]:[服务器上存放文件的路径] [本地文件的路径] | scp -r [服务器用户名]@[服务器地址]:[服务器上存放文件的路径] [本地文件的路径] |
| scp [email protected]:/root/default/test.txt /Users/mac/Desktop | scp -r [email protected]:/root/default/test /Users/mac/Desktop |
mac客户端执行传输命令
在选择Linux服务器端的储存文件地址时，由于权限原因，默认的是在/tmp有权限，可以先把文件放到tmp文件目录下，然后在进行mv 或者scp到其他目录，即可。
scp /Users/xjh/Desktop/jdk-8u221-linux-x64.tar.gz [email protected]:/tmp 传输速度还是蛮快的，如下图：
在Ubuntu将jdk移动到我们新建的java目录下（没建的新建一个就是），到此传输文件成功，可以开始配置Java环境了。
sudo mv /tmp/jdk-8u221-linux-x64.tar.gz usr/java 在java目录中，使用sudo tar命令解压jdk文件;
解压成功后，java目录中会有对应的目录文件存在
配置Java环境
使用命令“sudo gedit ~/.bashrc”打开配置文件，在末尾添加以下几行文字，注意自己的jdk版本号。
#set java env
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH 使用命令“source ~/.bashrc”使环境变量生效。
source ~/.bashrc 配置软连接，软连接相当于windows系统中的快捷键，部分软件可能会从/usr/bin目录下查找Java，因此添加该软连接防止其他软件查找不到的情况。
sudo update-alternatives --install /usr/bin/java java /usr/java/jdk1.8.0_221/bin/java 300 sudo update-alternatives --install /usr/bin/javac javac /usr/java/jdk1.8.0_221/bin/javac 300 测试java是否安装成功
Hadoop单机安装配置
将我们下载的Hadoop解压到 /usr/local/ 中
sudo tar zxvf tmp/hadoop-3.2.1.tar.gz -C /usr/local 利用cd /usr/local/ 命令切换操作空间，将文件夹名改为hadoop
sudo mv ./hadoop-3.2.1/ ./hadoop 修改文件权限
sudo chown -R hadoop:hadoop ./hadoop Hadoop 解压后，在Hadoop目录下的etc/hadoop/hadoop-env.sh文件中添加如下的 Java环境信息。
export JAVA_HOME=/usr/java/jdk1.8.0_221
然后，保存hadoop-env.sh文件，即完成单机模式的Hadoop基本安装。测试Hadoop是否安装成功，如出现如下图所示的版本信息，即可。
默认情况下，单机模式的Hadoop以Java进程的方式运行，可依次运行如下命令进行进一步测试。
sudo mkdir input
sudo cp etc/hadoop/*.xml input 执行下列命令，运行MapReduce程序，完成测试计算。
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+' 执行下列命令，查看计算结果。
cat output/* Hadoop目录下，会有input和output两个新建的文件，output中有上述程序 的运算结果，到此Hadoop单机安装配置成功。
Hadoop伪分布式安装配置
- Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分 离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode， 同时，读取的是 HDFS 中的文件
- Hadoop的配置文件位于/usr/local/hadoop/etc/hadoop/中，伪分布式 需要修改2个配置文件 core-site.xml 和 hdfs-site.xml
Hadoop的配置文件是xml格式，每个配置以声明property的name 和 value 的方式来实现
hadoop目录认识
hadoop下的目录
修改配置文件之前，先看一下hadoop下的目录：
- bin：hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用hadoop
- etc：配置文件存放的目录，包括core-site.xml,hdfs-site.xml,mapred-site.xml等从hadoop1.x继承而来的配置文件和yarn-site.xml等hadoop2.x新增的配置文件
- include：对外提供的编程库头文件（具体动态库和静态库在lib目录中，这些头文件军事用c++定义的，通常用于c++程序访问hdfs或者编写mapreduce程序）
- Lib：该目录包含了hadoop对外提供的才变成动态库和静态库，与include目录中的头文件结合使用
- libexec：各个服务对应的shell配置文件所在目录，可用于配置日志输出目录、启动参数等信息
- sbin：hadoop管理脚本所在目录，主要包含hdfs和yarn中各类服务的启动、关闭脚本
- share：hadoop各个模块编译后的jar包所在目录。
修改配置文件 core-site.xml
hadoop.tmp.dirfile:/usr/local/hadoop/tmpAbase for other temporary directories.fs.defaultFShdfs://localhost:9000 - hadoop.tmp.dir表示存放临时数据的目录，即包括NameNode的数据，也包 括DataNode的数据。该路径任意指定，只要实际存在该文件夹即可
- name为fs.defaultFS的值，表示hdfs路径的逻辑名称
修改配置文件 hdfs-site.xml
dfs.replication1dfs.namenode.name.dirfile:/usr/local/hadoop/tmp/dfs/namedfs.datanode.data.dirfile:/usr/local/hadoop/tmp/dfs/data - dfs.replication表示副本的数量，伪分布式要设置为1
- dfs.namenode.name.dir表示本地磁盘目录，是存储fsimage文件的地方
- dfs.datanode.data.dir表示本地磁盘目录，HDFS数据存放block的地方
| 文件名称 | 格式 | 描述 |
|---|---|---|
| hadoop-env.sh | Bash脚本 | 记录配置Hadoop运行所需的环境变量，以运行 Hadoop |
| core-site.xml | Hadoop配置XML | Hadoop core的配置项，例如HDFS和MapReduce 常用的I/O设置等 |
| hdfs-site.xml | Hadoop的守护进程的配置项，包括NameNode、 SecondaryNameNode和DataNode等 | |
| mapred-site.xml | MapReduce守护进程的配置项，包括JobTracker 和TaskTracker | |
| masters | 纯文本 | 运行SecondaryNameNode的机器列表(每行一 个) |
| slaves | ||
| hadoop- metrics.properties | Java属性 | 控制metrics在Hadoop上如何发布的属性 |
至此，配置完毕，但是还不能启动，要对hdfs先进行格式化。类似以前的软盘，使用前要先格式化,执行命令：
sudo ./bin/hdfs namenode -format 看到日志信息：即格式化成功。
在我们name目录(这个目录是我们自己配置的时候指定的)下也会出现映像文件（fsimage），用于将数据持久化 。
启动Hadoop
输入以下命令启动Hadoop：
sbin/start-dfs.sh 安装jps
sudo apt install openjdk-11-jdk-headless 安装好之后jps检查角色如果有多个角色，就启动成功。