天天看點

在ubuntu中安裝單機Hadoop(四)

接着上一篇“在ubuntu中安裝單機Hadoop(三)”

參考資料:資料連結

繼續記錄在Ubuntu上安裝Hadoop,一共是下面幾步:

1. 在Ubuntu中建立hadoop使用者組和使用者

2. 安裝JDK

3. 修改機器名

4. 安裝ssh服務

5. 建立ssh無密碼登入本機

6. 安裝hadoop

7. 在單機上運作hadoop

其中,1-5步已經在前面的文章中記錄過啦。現在從第6步開始。

六、安裝Hadoop

在hadoop的官網,找到download, 找到鏡像檔案。點選mirror site

在ubuntu中安裝單機Hadoop(四)

然後繼續點 ...

在ubuntu中安裝單機Hadoop(四)

下載下傳stable版本的就好。

下面就是...當當當... 安裝hadoop了。

1. 将hadoop-2.9.0.tar.gz 檔案複制到/usr/local/ 目錄下

在ubuntu中安裝單機Hadoop(四)

因為該檔案的owner是yin,是以還需要設定一下檔案權限:

sudo chmod 777 hadoop-2.9.0.tar.gz
           
在ubuntu中安裝單機Hadoop(四)

2. 解壓 hadoop-2.9.0.tar.gz

sudo tar -zxf hadoop-2.9.0.tar.gz 
           

3. 将解壓出的檔案名改為hadoop

在ubuntu中安裝單機Hadoop(四)

4. 将hadoop的檔案夾的owner設為hadoop(^ _ ^)

在ubuntu中安裝單機Hadoop(四)

Hadoop解壓後即可使用。輸入以下指令:

cd /usr/local/hadoop
./bin/hadoop version
           
在ubuntu中安裝單機Hadoop(四)

Hadoop 預設模式為非分布式模式,無需進行其他配置即可運作。非分布式即單Java程序。

為了不用在固定位置使用hadoop指令,可以配置環境變量。

在hadoop的 ~/.bashrc 檔案尾部添加:

export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin
           

然後,重新加載一下:

source ~/.bashrc

即可在任意位置使用hadoop指令(該使用者登入下)。

七、在單機上運作Hadoop

運作Hadoop裡給出的例子,wordcount 。

自己建一個input檔案放入一個測試文本吧。output不用建。

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount input/words.txt output
           
在ubuntu中安裝單機Hadoop(四)

Done.

在運作的時候,一開始出現報錯,不能識别機器。

後來發現是,當初改機器名的時候,修改了 /etc/hostname

然而,/etc/hosts 中,仍然是老的機器名。是以,後來把 /etc/hosts 中的機器名也改過來就好了。

繼續閱讀