開始寫部落格啦啦

mapreduce1.0架構原理：

jobtraker 單點故障

隻支援mapreduce

jobtraker性能瓶頸

資源使用率不高

2.yarn産生的背景

降低運維成本

統一資源管理，資料共享

兩級排程，

resourceManager 做資源統一管理

處理用戶端請求

監控applicationmaster 具體任務執行情況

監控nodemanager 節點狀态

Nodemanager單節點資源管理和使用

資源管理任務管理

處理resourceManager的名利

處理applicationMaster的指令

ApplicationMaster單個任務有一個，負責應用程式的管理

資料切分

為應用程式申請資源，進一步配置設定給内部任務

任務的監控與容錯

Container 對運作環境的抽象

任務運作環境

任務資源

yarn的容錯機制

資源流向resourceManager---------->applicationMaster----------------->task

yarn的資源隔離 cpu和記憶體兩種方式

yarn的排程語義（接口），程式可以自己申請資源，自己上交資源：

hadoop和yarn上的計算架構：

yarn總體架構

mr的原理：

storm原理：

spark原理：

tez原理：