接着上一篇“在ubuntu中安裝單機Hadoop(三)”
參考資料:資料連結
繼續記錄在Ubuntu上安裝Hadoop,一共是下面幾步:
1. 在Ubuntu中建立hadoop使用者組和使用者
2. 安裝JDK
3. 修改機器名
4. 安裝ssh服務
5. 建立ssh無密碼登入本機
6. 安裝hadoop
7. 在單機上運作hadoop
其中,1-5步已經在前面的文章中記錄過啦。現在從第6步開始。
六、安裝Hadoop
在hadoop的官網,找到download, 找到鏡像檔案。點選mirror site
然後繼續點 ...
下載下傳stable版本的就好。
下面就是...當當當... 安裝hadoop了。
1. 将hadoop-2.9.0.tar.gz 檔案複制到/usr/local/ 目錄下
因為該檔案的owner是yin,是以還需要設定一下檔案權限:
sudo chmod 777 hadoop-2.9.0.tar.gz
2. 解壓 hadoop-2.9.0.tar.gz
sudo tar -zxf hadoop-2.9.0.tar.gz
3. 将解壓出的檔案名改為hadoop
4. 将hadoop的檔案夾的owner設為hadoop(^ _ ^)
Hadoop解壓後即可使用。輸入以下指令:
cd /usr/local/hadoop
./bin/hadoop version
Hadoop 預設模式為非分布式模式,無需進行其他配置即可運作。非分布式即單Java程序。
為了不用在固定位置使用hadoop指令,可以配置環境變量。
在hadoop的 ~/.bashrc 檔案尾部添加:
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin
然後,重新加載一下:
source ~/.bashrc
即可在任意位置使用hadoop指令(該使用者登入下)。
七、在單機上運作Hadoop
運作Hadoop裡給出的例子,wordcount 。
自己建一個input檔案放入一個測試文本吧。output不用建。
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount input/words.txt output
Done.
在運作的時候,一開始出現報錯,不能識别機器。
後來發現是,當初改機器名的時候,修改了 /etc/hostname
然而,/etc/hosts 中,仍然是老的機器名。是以,後來把 /etc/hosts 中的機器名也改過來就好了。