centos6.4 32/64位机 hadoop2.2.0集群安装

1、准备环境

1）安装中文输入法：

2）安装ssh或者vsftp

2、修改主机名

3、配置/ect/hosts，三台服务器的配置一样

4、创建用户（使用root用户创建后来发现browse the filesystem 报错，后来查文档，建议使用新建的用户）

输入密码，确认

5、ssh无密码登录

6、hadoop的下载和环境的配置

hadoop环境变量的配置：

在文件的最下面添加

注：在64位操作系统上需要加入一下红色部分的配置信息

网上看到的另一种解决办法：

在使用./sbin/start-dfs.sh或./sbin/start-all.sh启动时会报出这样如下警告：

这个问题的错误原因会发生在64位的操作系统上，原因是从官方下载的hadoop使用的本地库文件(例如lib/native/libhadoop.so.1.0.0)都是基于32位编译的，运行在64位系统上就会出现上述错误。

解决方法之一是在64位系统上重新编译hadoop，另一种方法是在hadoop-env.sh和yarn-env.sh中添加如下两行：

注：/usr/zkt/hadoop2.2.0/hadoop-2.2.0为自定义的下载hadoop文件的解压路径

7、修改hadoop的配置文件hadoop2.2.0/etc/hadoop

3、修改hadfs-site.xml 定义名称节点和数据节点

4、修改mapred-site.xml configurations for mapreduce applications

5、修改yarn-site.xml文件

8、创建第7步配置文件中多出的文件夹

9、为这些文件夹赋权限 比较关键 不然文件生成的时候无文件创建、写权限

chown -r hadoop:hadoop /usr/zkt/hadoop2.2.0 (不明白的可以查看chown命令)

10、将配置好的hadoop分别拷贝到 slaver 和slaver2主机上

11、hadoop namenode的初始化

12、关闭防火墙 三台服务器的防火墙都需要关闭

查看iptables状态：

iptables开机自动启动：

iptables关闭服务：

13、启动hadoop

14、查看启动的节点进程

15、查看启动后的服务信息

master中应该有resourcemanager服务，slave中应该有nodemanager服务

查看集群状态：./bin/hdfs dfsadmin –report

查看文件块组成： ./bin/hdfsfsck / -files -blocks