hadoop安装

搭建jdk环境(jdk1.8.0_121)

vim /etc/profile
          export JAVA_HOME=java路径
          export JRE_HOME=$JAVA_HOME/jre
          export CLASSPATH=JAVA_HOME/lib:JRE_HOME/lib:$CLASSPATH
          export PATH=.:PATH:JAVA_HOME/bin:$JRE_HOME/bin
source /etc/profile
               //使配置文件生效
           

下载hadoop

修改hadoop的配置文件

hadoop2.7.3

路径： $HADOOP_HOME/etc/hadoop/

1. hadoop-env.sh

​

export JAVA_HOME=jdk路径

1. core-site.xml

<property>//hadoop的工作目录
  <name>hadoop.tmp.dir</name>
  <value>(地址自己设置，最好放在hadoop目录下)</value>
</property>
<property>//元数据目录
  <name>dfs.name.dir</name>
  <value>(地址自己设置，最好放在hadoop目录下)/name</value>
</property>
<property>//文件系统的访问地址
  <name>fs.default.name</name>
  <value>hdfs://ip地址:9000</value>
</property>
           

1. hdfs-site.xml

<property>//文件系统的数据目录
  <name>dfs.data.dir</name>
  <value>(地址自己设置，最好放在hadoop目录下)/data</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>
           

1. mapred_site.xml

<property>//任务调用器的访问地址
  <name>mapred.job.tracker</name>
  <value>ip地址:9001/value>
</property>
           

配置hadoop的环境

vim /etc/profile
    export JAVA_HOME=java路径
    export JRE_HOME=$JAVA_HOME/jre
    export HADOOP_HOME=hadoop路径
    export CLASSPATH=JAVA_HOME/lib:JRE_HOME/lib:$CLASSPATH
    export PATH=.:PATH:JAVA_HOME/bin:JRE_HOME/bin:**HADOOP_HOME/bin**
source /etc/profile    //使配置文件生效
           

运行hadoop

$HADOOP_HOME/bin/hadoop namenode -format  //格式化节点
$HADOOP_HOME/sbin/start-all.sh
           

1. 检查运行

1. 浏览器打开 http://localhost/50070

单词计数

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /WordCount/input/* /WordCount/output

ฅ平平庸庸的普通人ฅ