基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装

一、Cloudera Manager/CDH5

1、关于cloudera manager和CDH是什么，这里不做详细介绍了。有官网和百科介绍。

2、官网的安装指南

此处使用第三种方式安装hadoop集群。

二、环境规划

1、系统：CentOS 6.4_x86

 master：4G内存，硬盘尽量大容量

 slave1：2G内存，硬盘尽量大容量

 slave2：2G内存，硬盘尽量大容量

2、Cloudera Manager 5.3.3

3、CDH 5.3.3

安装包下载：

下载软件包：

<a href="http://archive-primary.cloudera.com/cdh5/parcels/5.3.3/CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel" target="_blank">CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel</a>

<a href="http://archive-primary.cloudera.com/cdh5/parcels/5.3.3/CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1" target="_blank">CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1</a>

<a href="http://archive-primary.cloudera.com/cdh5/parcels/5.3.3/manifest.json" target="_blank">manifest.json</a>

三、系统环境准备工作

此次执行权限均为root用户

所有的机器都必须ssh互信模式

修改主机名使用hosts文件或者DNS服务器

关闭iptables和selinux

卸载系统自带的openjdk,安装oracle的jdk

master节点安装mysql

所有节点的时间必须同步(ntp服务器或其他方法)

修改所有节点的内核参数

i. echo 0 &gt; /proc/sys/vm/swappiness

ii.echo never &gt; /sys/kernel/mm/redhat_transparent_hugepage/defrag

四、正式开始安装

1、cloudera manager默认的目录是在/opt下，解压到/opt目录下。

1

2

3

4

5

6

<code># tar xf cloudera-manager-el6-cm5.3.3_x86_64.tar.gz -C /opt/</code>

<code># ls /opt/</code>

<code>cloudera  cm</code><code>-</code><code>5.3</code><code>.</code><code>3</code>

<code>#</code>

<code># 安装mysql-connector-java</code>

<code># yum -y install mysql-connector-java</code>

2、初始化数据库

<code># /opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm</code>

<code># mysql -uroot -p123456 -e "show databases;"    查看下cm数据库是否创建成功</code>

3、复制数据到其他节点

7

8

<code># 修改配置文件server_host为master节点的主机名</code>

<code># grep server_host /opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini</code>

<code>    </code><code>server_host</code><code>=</code><code>master</code>

<code># scp -rp /opt/cm-5.3.3 slave1:/opt/</code>

<code># scp -rp /opt/cm-5.3.3 slave2:/opt/</code>

<code># 每个节点创建系统用户</code>

<code># useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "cloudera scm user" cloudera-scm</code>

4、数据库的配置

<code># hive</code>

<code># create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;</code>

<code># active monitor</code>

<code># create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;</code>

<code># 授权master主机</code>

<code># grant all on *.* to 'root'@'master' identified by 'PASSWD';</code>

5、准备parcels安装包到/opt/cloudera/parcel-repo/

9

10

11

<code># ls /opt/cloudera/parcel-repo/</code>

<code>CDH</code><code>-</code><code>5.3</code><code>.</code><code>3</code><code>-</code><code>1.cdh5</code><code>.</code><code>3.3</code><code>.p0.</code><code>5</code><code>-</code><code>el6.parcel  CDH</code><code>-</code><code>5.3</code><code>.</code><code>3</code><code>-</code><code>1.cdh5</code><code>.</code><code>3.3</code><code>.p0.</code><code>5</code><code>-</code><code>el6.parcel.sha  manifest.json</code>

<code># 注意：CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha下载后的文件重命名的</code>

<code># 启动master节点的server和agent脚本</code>

<code># /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start</code>

<code># /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start</code>

<code># server端口启动较慢</code>

<code># 启动其他所有节点的agent脚本</code>

五、CDH 5安装配置

<a href="http://s3.51cto.com/wyfs02/M02/6C/20/wKiom1VAYYDjBCXpAAC5d7N0yYc844.jpg" target="_blank"></a>

登陆名:admin 密码:admin

2、选择一个版本进行安装，此处选择第一个免费版。然后下一步--&gt;下一步

<a href="http://s3.51cto.com/wyfs02/M01/6C/1E/wKiom1VASp3jAAQLAAIqbasUW1o224.jpg" target="_blank"></a>

3、选中所有主机：

<a href="http://s3.51cto.com/wyfs02/M00/6C/1A/wKioL1VATHGz8yDaAAEhFEDSrCA045.jpg" target="_blank"></a>

4、如果配置正确，会出现如下界面

<a href="http://s3.51cto.com/wyfs02/M02/6C/1A/wKioL1VATKfiFVprAAFo7cUuH7U250.jpg" target="_blank"></a>

5、然后继续下一步,由于我们已经下载了离线包，所以下载是很快就能完成的

<a href="http://s3.51cto.com/wyfs02/M01/6C/1F/wKiom1VAS3rgM30HAADIuBznOYc167.jpg" target="_blank"></a>

6、主机检测，检测主机是否符合安装要求，符合要求后会全部通过，否则请按照要求设置

<a href="http://s3.51cto.com/wyfs02/M01/6C/1F/wKiom1VATRjBPaitAAFK1VsDb8c464.jpg" target="_blank"></a>

7、然后选择需要安装的软件包，可以全选或自定义，也可以选择集成了某一个组件功能的软件包来安装

<a href="http://s3.51cto.com/wyfs02/M00/6C/1F/wKiom1VATXrSyOT8AAIUKmDmoqo471.jpg" target="_blank"></a>

8、角色分配，此处默认，可以按需调整

<a href="http://s3.51cto.com/wyfs02/M01/6C/1F/wKiom1VATdqAar6sAAFen2iofhk264.jpg" target="_blank"></a>

9、数据库测试:

<a href="http://s3.51cto.com/wyfs02/M02/6C/1B/wKioL1VAUJHRbcADAADudcyMESk690.jpg" target="_blank"></a>

10、审核更改参数，可以使用默认，也可以按需更改

<a href="http://s3.51cto.com/wyfs02/M02/6C/1F/wKiom1VAT5jDp-POAAC8bWDI2d4249.jpg" target="_blank"></a>

11、启动正常的安装配置了，等待安装完成后再次访问主页即可。

<a href="http://s3.51cto.com/wyfs02/M01/6C/1F/wKiom1VAT9HRD-ozAAEJegf_kTc998.jpg" target="_blank"></a>

12、完成后的登陆界面

<a href="http://s3.51cto.com/wyfs02/M00/6C/1F/wKiom1VAUx2Sp9m-AAJcSSMDXTQ450.jpg" target="_blank"></a>

由于主机性能较低，数据延迟很大，查询经常无法显示。而且由于此处的磁盘空间不足，所以有很多警告信息。到此安装已全部完成。

六、其他问题说明

oozie的web界面的开启：

<a href="http://s3.51cto.com/wyfs02/M01/6C/20/wKiom1VAWXWTbxzxAADxt9g7Px0785.jpg" target="_blank"></a>

cloudera的文档中有说明配置oozie：

<a href="http://s3.51cto.com/wyfs02/M00/6C/1C/wKioL1VAXRCzYHe7AAED9KDDkY8680.jpg" target="_blank"></a>

安装这个操作即可：

<code># mv ext-2.2.zip /var/lib/oozie/</code>

<code># cd /var/lib/oozie</code>

<code># unzip ext-2.2.zip</code>

刷新界面：

<a href="http://s3.51cto.com/wyfs02/M00/6C/1C/wKioL1VAXc2iUocbAAEpwnZLhek178.jpg" target="_blank"></a>

hadoop2.x版本更新了一些新功能，支持HDFS的高可用等。cloudera manager管理界面可以直接操作等这一系列的功能，还是很方便的。

在集群里的HDFS界面的右上角有操作选项栏：

<a href="http://s3.51cto.com/wyfs02/M00/6C/20/wKiom1VAXWjgE5O4AAGBrGqzUSk844.jpg" target="_blank"></a>

点击后根据提示就能正常的配置了。管理界面添加移除集群中的主机也是非常方便的，具体的操作就不一一演示了。

七、Hadoop测试程序

<code># 计算pi值</code>

<code># sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100</code>

<code>...</code>

<code>Job Finished </code><code>in</code> <code>126.439</code> <code>seconds</code>

<code>Estimated value of Pi </code><code>is</code> <code>3.14800000000000000000</code>

<code># 可以看到执行结果</code>

可以在YARN的web界面看到详细job的信息

<a href="http://s3.51cto.com/wyfs02/M00/6C/1C/wKioL1VAYG3SQCFlAAF-p-mgzsc557.jpg" target="_blank"></a>

还有很多测试程序可以运行测试。这里就不一一演示了。

另外，这种安装方式虽然快捷方便，但是不利于对整体的理解，建议还是使用下载安装包的方式安装，配置文件等都是需要手动编写的，对于理解比较深刻。

本文转自Mr_陈 51CTO博客，原文链接：http://blog.51cto.com/chenpipi/1640255，如需转载请自行联系原作者