天天看點

阿裡雲一鍵部署 Hadoop 分布式叢集

hadoop是一個能夠讓使用者輕松架構和使用的開源分布式計算架構,一種可靠、高效、可伸縮的方式進行資料處理。本文主要目的是為大家提供一種非常簡單的方法,在阿裡雲上部署hadoop叢集。

正常安裝hadoop分為四步:配置ssh無密碼登入,安裝java jdk,安裝配置hadoop tar包,和啟動測試叢集。

叢集中的所有主機應該可以無密碼ssh登入,是以3台ecs都應該執行如下指令,保證所有的主機中臨時密鑰和公鑰均相同,這樣3台ecs就可以無密碼登入了。

為了保證安全,防止對外洩露密鑰和公鑰。我們要在master上執行下述指令,替換掉公開的臨時密鑰與公鑰:

master 上安裝jdk,并遠端控制在slaves上安裝jdk。

下載下傳安裝hadoop:

最後格式化hdfs,關閉防火牆,啟動叢集。

<a href="https://ros.console.aliyun.com/?spm=0.0.0.0.85njxj&amp;hidetopbar=false&amp;skipprotocal=true&amp;/#/stack//create?url=http:%2f%2fros-template.cn-hangzhou.oss.aliyun-inc.com%2fhadoop_distributed_env_3_ecs.json&amp;stackname=hadoop_3_ecs">一鍵部署hadoop叢集&gt;&gt;</a>

阿裡雲一鍵部署 Hadoop 分布式叢集

注意:

必須確定可以正确下載下傳jdk和hadoop tar 包,我們可以選擇類似如下的url:

<a href="http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz">http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz</a>

利用該模闆建立時,隻能選擇centos系統;

為了防止timeout 失敗,可以設定為120分鐘;

我們選擇的資料中心在上海。

建立完成後,檢視資源棧概況:

阿裡雲一鍵部署 Hadoop 分布式叢集

浏覽器中輸入圖中的的websiteurl,得到如下結果,則部署成功:

阿裡雲一鍵部署 Hadoop 分布式叢集
阿裡雲一鍵部署 Hadoop 分布式叢集