天天看點

CentOS 7下配置hadoop 2.8 分布式叢集一、基礎環境描述二、主要步驟三、配置及安裝hadoop 2.8

Hadoop是一個由Apache基金會所開發的分布式系統基礎架構,實作分布式檔案系統HDFS,用于存儲大資料集,以及可以以流的形式通路(streaming access)檔案系統中的資料。Hadoop的架構最核心的設計就是:HDFS和MapReduce。HDFS為海量的資料提供了存儲,則MapReduce為海量的資料提供了計算。本文描述了在CentOS 7下,基于三個節點安裝hadoop 2.8,供大家參考。

配置Java運作環境
配置hosts檔案
配置hadoop運作賬戶及資料存放目錄
配置ssh等效連接配接
配置使用者環境變量
下載下傳解壓hadoop安裝包
配置hadoop相關配置檔案
格式化namenode
啟動hadoop
驗證hadoop

檢視叢集摘要資訊

CentOS 7下配置hadoop 2.8 分布式叢集一、基礎環境描述二、主要步驟三、配置及安裝hadoop 2.8

檢視叢集資訊 

CentOS 7下配置hadoop 2.8 分布式叢集一、基礎環境描述二、主要步驟三、配置及安裝hadoop 2.8