Hadoop集群 之《伪分布集群搭建》

文章目录

• 版本：
• 1、先配置JAVA_HOME和HADOOP_HOME在/etc/profile的配置
• 2、hadoop的 七大配置文件
• • 2,1、后缀是 env.sh 的
  • 2.2、hdfs-site.xml
  • 2.3、core-site.xml
  • 2.4、cp ./mapred-site.xml.template ./mapred-site.xml
  • 2.5、yarn-site.xml
• 3、搭建过程中更能会报的错
• 4、搭建完伪分布，如果需要还可以继续搭建完全分布

版本：

hadoop hadoop-2.7.1_64bit.tar.gz

jdk jdk-8u144-linux-x64.tar.gz

1、先配置JAVA_HOME和HADOOP_HOME在/etc/profile的配置

2、hadoop的 七大配置文件

2,1、后缀是 env.sh 的

hadoop-env.sh

yarn-env.sh

mapred-env.sh

(sh后缀的都是配置JAVA_HOME路径的)

2.2、hdfs-site.xml

<configuration>
<!--指定hdfs保存数据副本的数量，包括自己，默认值是3-->
        <!--如果是伪分布模式，此值是1-->
        <property>
                <name>dfs.replication</name>
                <value>副本数量</value>
        </property>
        <!--secondary的地址    伪分布所以namenode和secondarynamenode放在一块-->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>主机名:50090</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>
           

2.3、core-site.xml

<configuration>
        <!--指定哪台虚拟机上面放namenode，用来指定hdfs的老大，namenode的地址-->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://主机名:9000</value>
        </property>
        <!--用来指定hadoop运行时产生文件的存放目录-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/xss/java/hadoop/tmp</value>
        </property>

</configuration>
           

2.4、cp ./mapred-site.xml.template ./mapred-site.xml

<configuration>
        <property>
                <!--指定mapreduce运行在yarn上-->
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>
           

2.5、yarn-site.xml

<configuration>
    <!-- Site specific YARN configuration properties -->
        <!-- Site specific YARN configuration properties -->
        <property>
                <!--指定yarn的老大 resoucemanager的地址-->
                <name>yarn.resourcemanager.hostname</name>
                <value>node132</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>
           

3、搭建过程中更能会报的错

启动伪分布的时候datanode一直启动不起来，

解决方法：

1、就需要把hadoop/tmp/dfs/data下的current删除掉

2、然后再重新格式化

3、在重新启动集群 start-all.sh

4、搭建完伪分布，如果需要还可以继续搭建完全分布

博客链接 ：https://blog.csdn.net/qq_44472134/article/details/105047536