技術選型:
要提供兩套方案,紅色的一套,黑色的一套,提供對比
選擇的依據:
優先選擇紅色的那一套,因為比較通用,而且熟悉
Flume解決日志的采集,Kafka解決消息的分發和消峰,Sqoop用于HDFS和關系型資料庫進行資料的傳遞
MySql主要用于查詢,它用于存儲與前端程序互動比較頻繁的資料,因為查詢要速度比較塊,HDFS主要用于存儲,用于存儲計算和分析的資料量大的資料
Hive是底層是基于MR,速度慢,Tez基于記憶體,資料在計算過程中不落盤,都存儲在記憶體中,速度快,Spark同理
Presto和Impala是同類型同級别的架構,Druid在處理實時即席查詢比Kylin強一些