搭建hadoop 1.2.1單機版本

安裝環境

ubuntu 16.04

所需軟體

java sdk

Hadoop

ssh

rsync

1. 安裝java

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

1. 把下載下傳的sdk檔案移到建立的

   /usr/lib/java

   路徑下，并解壓

   mkdir /usr/lib/java
   mv /root/Downloads/jdk-file-name /usr/lib/java
   Tar -xvf jdk-file-name.tar.gz
              

2. 修改環境變量：

   export JAVA_HOME=/usr/lib/java/jdk1._161
   export JRE_HOME=$JAVA_HOME/jre 
   export CLASS_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASS_PATH export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
              

2. 安裝ssh

apt-get install ssh
           

1. 啟動服務
2. 設定免密碼登入，生成私鑰與公鑰，将公鑰追加到authorized_keys

   ssh-keygen -t rsa -P ""
   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
              

3. 檢查是否能無密碼登入ssh

   ssh localhost
              

3. 安裝rsync

apt-get install rsync
           

4. 安裝Hadoop

https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/

1. 将下載下傳下來的hadoop解壓到/usr/local/hadoop中, 進入/usr/local/Hadoop/Hadoop-1.2.1/conf, 在hadoop-env.sh中配置java安裝資訊

   export JAVA_HOME=/usr/lib/java/jdk1.
              

2. 使hadoop-env.sh配置資訊生效

   source hadoop-env.sh
              

到此hadoop單機模式配置成功

為友善開機後可以立即使用hadoop的

bin

下指令，可将

bin

目錄配置到

~/.bashrc

中

使配置生效

source ~/.bashrc
           

5. 驗證hadoop版本資訊

6. 運作hadoop自帶的wordcount例子

1. 先在hadoop目錄下建立input目錄，并将conf下所有檔案複制到input目錄下
2. 使用hadoop指令運作自帶的wordcount程式，結果輸出到output中

hadoop jar hadoop-examples-.jar wordcount input output
           

1. 最後可在output中看到input中檔案單詞的統計結果