hadoop常用程序和web端口整理

應用場景

Hadoop部署完分布式叢集後，運作了一些元件，會産生很多程序，和web可以通路的端口，容易混淆，這裡把一些常見的程序，程序的作用和端口進行歸納，總結，友善區分。

操作步驟

1. HDFS程序及端口

HDFS啟動後包含的程序有：NameNode，DataNode，SecondaryNameNode

啟動方法，在主節點：

#  cd /opt/hadoop2.6.0/sbin/
 #  ./start-dfs.sh           

啟動完後通路端口為50070，通過主節點IP加上端口即可通路：

2. YARN程序及端口

YARN啟動後包含的程序有:Resourcemanager，NodeManager

# cd /opt/hadoop2.6.0/sbin/ 
 # ./start-yarn.sh           

啟動完後通路端口為8088，通過主節點IP加上端口即可通路：

3. ZooKeeper程序

Zookeeper啟動後包含的程序是：QuorumPeerMain

注：

HQuorumPeer程序是hbase管理的zookeeper

QuorumPeerMain程序就是zookeeper獨立的程序

也就是說，如果您用的是hbase的zookeeper，那麼就是HQuorumPeer程序

啟動方法，在需要啟動ZooKeeper的節點上：

# cd /opt/zookeeper3.4.10/bin/ 
 # zkServer.sh start           

4. HBASE程序及端口

Hbase啟動後包含的程序有 : HMaster，HRegionServer

# cd /opt/hbase1.2.6/bin 
 # ./start-hbase.sh           

啟動完後通路端口為16010，通過主節點IP加上端口即可通路：

5. Spark程序及端口

Spark啟動後包含的程序有 : Master Worker

# cd /opt/spark1.6.1/sbin 
 # ./start-all.sh           

啟動完後通路端口為8080，通過主節點IP加上端口即可通路：【資源監控位址master】

啟動後4040任務監控端口并沒有開啟，需要spark-shell –master spark://hadoop0:7077，執行：【任務監控位址Drive】

注意：

spark-shell          【local模式，在4040端口監控任務】
  spark-shell --master spark://hadoop0:7077  【standalone模式，在8080端口監控任務】
  spark-shell --master yarn-client          【yarn-client模式，在yarn 8088端口監控任務】
  spark-shell --master yarn-cluster         【yarn-cluster模式，在yarn 8088端口監控任務】