通過 Spark Streaming Listener 監控程式

本ppt來自于4月23-25日舉行的 Spark + AI Summit 2019。作者來自 SPOTX公司，該公司大量使用到了 Spark Streaming，其每天處理數十億條記錄，監控是很重要的。是以該公司的開發人員利用 Streaming Listeners 來監控他們的程式，他們利用這個把 Kafka 的消費偏移量儲存到 MySQL，并将處理的每個批次處理的消息數寫入到 Influx，然後提供了可視化監控。

關注 過往記憶大資料 微信公衆号并回複 listener 擷取本文 PPT。