第121講：Hadoop叢集的格式化、叢集運作實戰解析等學習筆記

第121講：Hadoop叢集的格式化、叢集運作實戰解析等學習筆記

本講主要講解hadoop叢集格式化、叢集運作實戰

1.官網講的格式化：

Hadoop Startup

To start a Hadoop cluster you will need to start both the HDFS and YARN cluster.

The first time you bring up HDFS, it must be formatted. Format a new distributed filesystem as hdfs:

[hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>

即：./hdfs namenode -format

2.啟動hdfs:  start-dfs.sh

通過50070端口通路datanode

3.啟動yarn:    start-yarn.sh

yarn管理的資源指記憶體/CPU等

通過8088端口通路yarn上運作的程式。

4.mr-jobhistory-daemon.sh start historyserver

檢視job history server 上運作過的job

5.關閉： stop-yarn.sh/stop-dfs.sh/mr-jobhistory-daemon.sh stop historyserver

關閉hdfs慢是因為作為檔案管理系統有很多中繼資料。

6.為什麼不用stat-all.sh？

（1）分别啟動時，如果發生問題，可以很快定位到問題所在

（2）如運作spark，直接啟動yarn即可，不需要啟動hdfs。

以上内容是從王家林老師DT大資料課程第121講的學習筆記。

DT大資料微信公衆賬号：DT_Spark  

王家林老師QQ:1740415547 

王家林老師微信号：18610086859

DT大資料夢工廠的所有視訊、PPT和代碼在百度雲盤的連結:http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-to=pcqq.group

第121講視訊網站位址：

51CTO

http://edu.51cto.com/lesson/id-77769.html