手动安装Hadoop集群的过程

最近又安装 hadoop 集群，由于一些原因，没有使用 hadoop 管理工具或者自动化安装脚本来安装集群，而是手动一步步的来安装，本篇文章主要是记录我手动安装 hadoop 集群的过程，给大家做个参考。

这里所说的手动安装，是指一步步的通过脚本来安装集群，并不是使用一键安装脚本或者一些管理界面来安装。

开始之前，还是说明一下环境：

操作系统：centos6.4

cdh版本：4.7.0

节点数：4个

在开始前，先选择一个节点为管理节点或者说是 namenode 节点，其他节点为普通节点。

安装的过程中，是使用 root 用户来运行脚本。

为了部署方便，我会创建三个批量执行脚本，存放目录为/opt，一个脚本用于批量执行，文件名称为 cmd.sh，内容如下：

另外一个文件用于批量拷贝，文件名称为 syn.sh，内容如下：

第三个文件用于批量管理 hadoop 服务，文件名称为 cluster.sh，内容如下：

当然，以上三个脚本需要你从当前管理节点配置无密码登陆到所有节点上。

配置无密码登陆之后，需要在每台机器上安装 jdk 并设置环境变量：

在该节点上配置 hosts 文件，我安装的集群节点如下：

将该文件同步到其他节点：

首先，在所有节点上安装一些基本的必须的依赖：

以上只是安装一些基本依赖，并不会在/etc/init.d/下生成一些服务，而会在/etc/目录下创建一些 conf 目录，这样方便修改配置文件并执行批量同步。

然后，按照你的集群规划，在每个节点上仅仅安装其需要的服务，例如在 cdh1上安装 namenode，而在其他节点上安装 datanode。

创建本地目录。namenode 的数据目录，我定义在/data/dfs/nn；datanode 的在/data/dfs/dn，当然还有 yarn 的目录。

批量创建目录命令：

最后，就是格式化 namenode：

启动 hadoop-hdfs 相关的服务：

查看状态：

在无法直接服务 web 界面的情况下，可以通过下面命令来检查每个节点是否启动成功：

创建 /tmp 临时目录，并设置权限为 1777：

在 nn 节点上安装 hadoop-yarn-resourcemanager 和 hadoop-mapredice-history，其他节点安装 hadoop-yarn-nodemanager，修改配置文件。

在 hdfs 上创建目录：

验证 hdfs 结构：

你将会看到：

为每个 mapreduce 用户创建主目录，比如说 hive 用户或者当前用户：

启动 mapred-historyserver :

每个节点启动 yarn :

检查yarn是否启动成功：

其他服务均可以参考此方法来简化安装，这里不做详述。