常見的七種Hadoop和Spark項目案例

大資料中比較火爆的Hadoop、Spark和Storm，最常見的七種項目你們是否已經了解到位了呢，下面一起了解一下吧

一、資料整合

稱之為“企業級資料中心”或“資料湖”，這個想法是你有不同的資料源，你想對它們進行資料分析。這類項目包括從所有來源獲得資料源(實時或批處理)并且把它們存儲在hadoop中。 “企業級資料中心”通常由HDFS檔案系統和HIVE或IMPALA中的表組成

二、專業分析

許多資料整合項目實際上是從你特殊的需求和某一資料集系統的分析開始的。這些往往是令人難以置信的特定領域，如在銀行領域的流動性風險/蒙特卡羅模拟分析。

在Hadoop和Spark的世界，看看這些系統大緻相同的資料整合系統，但往往有更多的HBase，定制非SQL代碼，和更少的資料來源(如果不是唯一的)。他們越來越多地以Spark為基礎

三、Hadoop作為一種服務

在“專業分析”項目的任何大型組織(諷刺的是，一個或兩個“資料整理”項目)他們會不可避免地開始感覺“快樂”(即，疼痛)管理幾個不同配置的Hadoop叢集，有時從不同的供應商。

四、流分析

很多人會把這個“流”，但流分析是不同的，從裝置流。通常，流分析是一個組織在批進行中的實時版本。在某些情況下，這是一種新的類型的交易系統，分析資料位的位，因為你将它并聯到一個分析系統中。這些系統證明自己如Spark或Storm與Hbase作為常用的資料存儲。

五、複雜事件處理

雖然還沒有足夠快的超低延遲(皮秒或納秒)的應用，如高端的交易系統，你可以期待毫秒響應時間。有時，你會看到這樣的系統使用Spark和HBase——但他們一般落在他們的臉上，必須轉換成Storm，這是基于由LMAX交易所開發的幹擾模式。

六、ETL流

有時你想捕捉流資料并把它們存儲起來。這些項目通常與1号或2号重合，但增加了各自的範圍和特點。，這些幾乎都是Kafka和Storm項目。Spark也使用，但沒有理由，因為你不需要在記憶體分析。

七、更換或增加SAS

我喜歡簡單而充實的旅途，火車或者舊的巴士，可以穿過擁擠的車站，可以在站台和人們一樣拖着行李箱向前張望，可以用很長的時間去看窗外的景物，可以用整個晚上去聽各地的鄉音。