Hadoop單機配置(非分布式)

Hadoop 預設模式為非分布式模式（本地模式），無需進行其他配置即可運作。非分布式即單 Java 程序，友善進行調試。

1. 下載下傳、解壓、安裝Hadoop(至usr/local)

sudo -zxf hadoop-3.1.3.tar.gz -C /usr/local

2. 修改目錄名稱為hadoop

sudo mv ./hadoop-3.1.3 ./hadoop

3.修改權限

sudo chown -R Hadoop ./hadoop

4.檢視hadoop的版本

./bin/Hadoop version

5.運作Hadoop

現在我們可以執行例子來感受下 Hadoop 的運作。Hadoop 附帶了豐富的例子,運作：

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar

可以看到所有例子，包括 wordcount、terasort、join、grep 等。

例如：頻數統計：

在此我們選擇運作grep例子，我們将 input 檔案夾中的所有檔案作為輸入，篩選當中符合正規表達式 dfs[a-z.]+ 的單詞并統計出現的次數，最後輸出結果到 output 檔案夾中。

注意：Hadoop不會覆寫上次結果，需要手動删除上一次的結果。

rm -r ./output