天天看點

Flume拓撲結構Flume的拓撲結構有以下四種

Flume的拓撲結構有以下四種

一、點對點

Flume拓撲結構Flume的拓撲結構有以下四種

這種是最簡單的方式,兩個flume,一個的sink是另一個的source,這種結構有點像鍊式結構,後面還可以接着加節點

二、多副本結構

Flume拓撲結構Flume的拓撲結構有以下四種

這種結構特點: 一個source,多個channel,而多個channel是同一内容,隻不過後面的sink不同,這種場景比如,讀取一個日志檔案,一份要交給hadoop離線處理,一份相同的交給spark實時處理。

詳見例子:https://blog.csdn.net/student__software/article/details/81394518

三、負載均衡

Flume拓撲結構Flume的拓撲結構有以下四種

這種結構在大資料領域經常使用,使用多個sink進行負載均衡

詳見例子:https://blog.csdn.net/student__software/article/details/81394703

四、聚合模式

Flume拓撲結構Flume的拓撲結構有以下四種

這種模式的設計針對的是叢集,比如,正常的大資料服務不可能是單個伺服器,幾乎都是叢集,那麼每個叢集都會産生日志檔案,為了将每個日志檔案進行收集,就采用這種聚合模式。

繼續閱讀