天天看點

面試題——數倉項目技術如何選型?

面試題——數倉項目技術如何選型?

技術選型:

要提供兩套方案,紅色的一套,黑色的一套,提供對比

選擇的依據:

優先選擇紅色的那一套,因為比較通用,而且熟悉

Flume解決日志的采集,Kafka解決消息的分發和消峰,Sqoop用于HDFS和關系型資料庫進行資料的傳遞

MySql主要用于查詢,它用于存儲與前端程序互動比較頻繁的資料,因為查詢要速度比較塊,HDFS主要用于存儲,用于存儲計算和分析的資料量大的資料

Hive是底層是基于MR,速度慢,Tez基于記憶體,資料在計算過程中不落盤,都存儲在記憶體中,速度快,Spark同理

Presto和Impala是同類型同級别的架構,Druid在處理實時即席查詢比Kylin強一些

繼續閱讀