天天看點

Cloudera Manager 術語和架構Cloudera Manager 術語Cloudera Manager 架構

Cloudera Manager 術語

為了有效地使用Cloudera Manager,您應該首先了解其術語。

術語之間的關系如下所示,其定義如下:

Cloudera Manager 術語和架構Cloudera Manager 術語Cloudera Manager 架構

有時,術語服務和角色用于同時指代類型和執行個體,這可能會造成混淆。Cloudera Manager 和本節有時對類型和執行個體使用相同的術語。例如,Cloudera Manager 管理控制台的“首頁” >“狀态”頁籤和“叢集” >“ ClusterName” 菜單列出了服務執行個體。這類似于程式設計語言中的慣例,其中“字元串”一詞可能表示類型(java.lang.String)或該類型的執行個體(“ hi there”)。在需要區分類型和執行個體的地方,單詞“ type”被附加以訓示類型,而單詞“ instance”被附加以顯式訓示執行個體。

部署

Cloudera Manager 及其管理的所有叢集的配置。

動态資源池

在 Cloudera Manager 中,這是資源的命名配置,以及用于在池中運作的 YARN 應用程式或 Impala 查詢之間排程資源的政策。

叢集

  • 包含 HDFS 檔案系統并對該資料運作 MapReduce 和其他程序的一組計算機或計算機機架。
  • 在 Cloudera Manager 中,是一個邏輯實體,包含一組主機,在主機上安裝的單個版本的 Cloudera Runtime 以及在主機上運作的服務和角色執行個體。一台主機隻能屬于一個叢集。Cloudera Manager 可以管理多個叢集,但是每個叢集隻能與一個 Cloudera Manager Server 關聯。

主機

在 Cloudera Manager 中,是運作角色執行個體的實體或虛拟機。一台主機隻能屬于一個叢集。

機架

在 Cloudera Manager 中,是一個實體實體,包含一組通常由同一交換機提供服務的實體主機。

服務

  • 在盡可能可預測的環境中運作在/etc/init.d/定義的 System V 初始化腳本的 Linux 指令 ,删除大多數環境變量并将目前工作目錄設定為/。
  • Cloudera Manager 中的托管功能類别,可以在叢集中運作,有時稱為服務類型。例如:Hive、HBase、HDFS、YARN 和 Spark。

服務執行個體

在 Cloudera Manager 中,是在叢集上運作的服務的執行個體。例如:“ HDFS-1”和“yarn”。服務執行個體跨越許多角色執行個體。

角色

在 Cloudera Manager 中,服務中的功能類别。例如,HDFS 服務具有以下角色:NameNode、SecondaryNameNode、DataNode 和 Balancer。有時稱為角色類型。

角色執行個體

在 Cloudera Manager 中,是在主機上運作的角色的執行個體。它通常映射到 Unix 程序。例如:“ NameNode-h1”和“ DataNode-h1”。

角色組

在 Cloudera Manager 中,這是一組角色執行個體的一組配置屬性。

主機模闆

Cloudera Manager 中的一組角色組。将模闆應用于主機時,将建立每個角色組中的角色執行個體并将其配置設定給該主機。

網關

一種角色類型,通常為用戶端提供對特定群集服務的通路權限。例如,HDFS、Hive、Kafka、MapReduce、Solr 和 Spark 各自具有網關角色,以為其客戶提供對其各自服務的通路。網關角色并非總是在其名稱中帶有“網關”,也不是專門用于用戶端通路。例如,Hue Kerberos Ticket Renewer 是一個網關角色,用于代理 Kerberos 中的票證。

支援一個或多個網關角色的節點有時稱為網關節點或邊緣節點,在網絡或雲環境中常見“邊緣”的概念。對于 Cloudera 叢集,當從 Cloudera Manager 管理控制台的“操作”菜單中選擇“部署用戶端配置”時,群集中的網關節點将接收适當的用戶端配置檔案。

Parcel

二進制分發格式,包含編譯的代碼和元資訊,例如程式包描述、版本和依賴項。

靜态服務池

在 Cloudera Manager 中,是跨一組服務的總群集資源(CPU,記憶體和I / O權重)的靜态分區。

Cloudera Manager 架構

如下所示,Cloudera Manager 的核心是 Cloudera Manager Server。伺服器托管Cloudera Manager 管理控制台、Cloudera Manager API 和應用程式邏輯、并負責安裝軟體、配置、啟動和停止服務以及管理在其上運作服務的叢集。

Cloudera Manager 術語和架構Cloudera Manager 術語Cloudera Manager 架構

Cloudera Manager Server 與其他幾個元件一起使用:

  • 代理-安裝在每台主機上。該代理負責啟動和停止程序、解包配置、觸發安裝以及監控主機。
  • 管理服務-由一組角色組成的服務,這些角色執行各種監控、警報和報告功能。
  • 資料庫-存儲配置和監控資訊。通常,多個邏輯資料庫跨一個或多個資料庫伺服器運作。例如,Cloudera Manager Server 和監控角色使用不同的邏輯資料庫。
  • Cloudera 存儲庫-由 Cloudera Manager 分發的軟體存儲庫。
  • 用戶端-是與伺服器互動的接口:
    • Cloudera Manager 管理控制台 -基于Web的使用者界面,管理者用于管理叢集和Cloudera Manager。
    • Cloudera Manager API -API 開發人員用于建立自定義 Cloudera Manager 應用程式。

心跳

心跳是 Cloudera Manager 中的主要通信機制。預設情況下,代理每15秒将心跳發送一次到 Cloudera Manager Server。但是,為減少使用者等待時間,在狀态更改時增加了頻率。

在心跳交換期間,代理會将其活動通知給 Cloudera Manager Server。反過來,Cloudera Manager Server 響應代理應執行的操作。代理和 Cloudera Manager Server 最終都進行了一些協調。例如,如果您啟動服務,則代理将嘗試啟動相關程序;否則,代理将嘗試啟動相關程序。如果程序無法啟動,則 Cloudera Manager Server 會将啟動指令标記為失敗。

點選連結參與

阿裡雲CDP限時免費測試

啦~

https://survey.aliyun.com/apps/zhiliao/owtTaIQU3

釘釘掃描下方二維碼加入阿裡雲 Cloudera 企業資料雲交流群一起參與讨論吧!

Cloudera Manager 術語和架構Cloudera Manager 術語Cloudera Manager 架構