天天看點

基于僞分布式hadoop搭建完全分布式完全分布式hadoop

上篇部落格中,我們搭建了單機版和僞分布式版的hadoop。但是在真正的開發中都是用的完全分布式hadoop環境。

是以今天我們就來搭建一下完全分布式hadoop環境。

前提:有四台解壓了hadoop和javajdk,且其中一台作為namenode需要已經搭建成了僞分布式,其他三台作為datanode,是以這三台還不需要配置環境

完全分布式hadoop

在xshell中右擊,最下方有個“發送鍵輸入到所有會話”,點選後可以在一台輸入時,目前所有會話都有反應了。

然後開始編輯:

在datanode中

1.vim /etc/profile 将hadoop和java環境配置一下

基于僞分布式hadoop搭建完全分布式完全分布式hadoop

在namenode中

2.vim slaves 設定三個datanode的ip

基于僞分布式hadoop搭建完全分布式完全分布式hadoop
基于僞分布式hadoop搭建完全分布式完全分布式hadoop

3.vim /etc/hosts

基于僞分布式hadoop搭建完全分布式完全分布式hadoop

4.将這些檔案傳到datanode上

基于僞分布式hadoop搭建完全分布式完全分布式hadoop

使用

scp -r 要傳輸的内容目錄 要穿到的電腦的使用者名@要穿到的電腦的ip:要穿到的電腦的位置目錄

基于僞分布式hadoop搭建完全分布式完全分布式hadoop

将三台都穿好

然後ssh-keygen 生成密鑰 直接四個空格

然後 将三個 配置好,這樣就可以免密登入了ssh-copy-id datanode的使用者名@datanode的ip

和cat id_rsa.pub >> ~/.ssh/authorized_keys 配置namenode的免密

最後在namenode上

使用start-all.sh啟動

這時使用jps檢視namenode和三個datanode

在namenode中的顯示

基于僞分布式hadoop搭建完全分布式完全分布式hadoop

在datanode中的顯示

基于僞分布式hadoop搭建完全分布式完全分布式hadoop

那麼這時你的完全分布式就搭建完成啦

繼續閱讀