天天看點

關于hbase叢集

1 一個hadoop data node上運作一個region server

region server和data node在同一台機器上,這樣就保證了資料的局部性。

2 hbase region server的構成

2.1 wal

write ahead log。

2.2 memstore

寫緩存。

2.3 blockcache

讀緩存。

2.4 hfile

3 hbase寫資料的過程

資料先寫入wal中,寫完之後,再寫入memstore中,當memstore寫了足夠的資料之後,最後寫入一個新的hfile檔案中。

3 hfile檔案的結構

4 hbase client和hbase互動的過程

5 zookeeper的部署

master、slaves每台機器上都要啟動。它會自己選擇一台機器作為leader,其它的作為follower。

由于zookeeper需要知曉所有機器的情況,是以在所有的機器上都是需要運作的。

6 hmaster為什麼也要放在data node上,而不能放在name node上

因為對于hdfs來說,資料都是存放在data node上的,而相對于hdfs來說,hmaster也是資料,是以,它應該放在data node上。

另外,處于穩定性考慮,name node是管理整個hdfs的,為了保證它的穩定性,也不應該将hmaster放在其上。

繼續閱讀