标題：DKhadoop大資料處理平台監控資料介紹

标題：DKhadoop大資料處理平台監控資料介紹

2018年國内大資料公司50強榜單排名已經公布了出來，大快以黑馬之姿闖入50強，并摘得多項桂冠。Hanlp自然語言處理技術也榮膺了“2018中國資料星技術”獎。對這份榜單感興趣的可以找一下看看。本篇承接上一篇《DKM平台監控參數說明》，繼續就大快的大資料一體化處理架構中的平台監控參數進行介紹和說明。

DKhadoop大資料處理平台架構的安裝相關文章已經分享過，詳細的内容可以找一下看看。在上一篇中已經就叢集平均負載、叢集磁盤使用情況、HDFS監控界面、Hbase監控界面等監控參數進行說明。今天就把剩下的一些監控參數一起介紹完，關于大快大資料處理平台監控參數的介紹就完整了。

1、Yarn監控界面

（1） 執行失敗的應用程式

監控 yarn資源管理中總執行失敗的應用程式數量

縱軸表示應用程式數量，機關個

橫軸表示時間,機關分鐘

（2）已送出的應用程式

監控 yarn資源管理中已送出的應用程式數量

（3）正在運作的應用程式

監控 yarn資源管理中正在運作的應用程式數量

（4） 等待執行的應用程式

監控 yarn資源管理中等待執行的應用程式數量

（5）已完成的應用程式

監控 yarn資源管理中已完成的應用程式數量

（6）被kill的應用程式

監控 yarn資源管理中被殺死的應用程式數量

2、Spark監控界面

注意：（spark 運作任務後才有監控資料）

（1） 最大可使用記憶體

監控 Spark 叢集中最大可使用的記憶體

縱軸表示記憶體容量，機關MB

（2）已使用的記憶體

監控 Spark 叢集中已經使用的記憶體

（3）剩餘記憶體

監控 Spark 叢集中剩餘的記憶體

縱軸表示記憶體容量，機關（MB）

（4）Spark中任務數量

監控 Spark 叢集中任務數量

（5）Spark中正在運作的任務數量

監控 Spark中正在運作的任務數量

（6）正在運作的stage數量

監控 Spark叢集中正在運作的stage數量

縱軸表示stage數量，機關個

（7）失敗的stage數量

監控 Spark叢集中運作失敗的stage數量

（8）準備就緒的stage數量

監控 Spark叢集中準備就緒的stage數量

備注：

（橫軸的時間表示采集時間，一般是1分鐘一次）