前言
本文将簡單介紹兩種基于Flume的日志收集系統可能的架構方案，可根據不同的實際場景參考使用。
方案一
示例圖如下：
說明：
每個日志源（http上報、日志檔案等）對應一個Agent-c用于收集對應日志, 收集來的日志可以流到Agent-s-1或Agent-s-2；
Agent-c的Sink處理器采用輪詢負載均衡政策，一方面可以分擔壓力，另一方面可增加系統可用性，即使一個Agent-s出現故障，系統可正常運作；
最後，Agent-s-1和Agent-s-2的通道處理器配置為分流模式，将不同project的事件分流到不同Channel中，最後交由不同的Sink處理，并存入到對應存儲系統中；
以上資料采集層和資料彙總層均支援水準擴充；
方案二
與方案一不同的是，該方案支援将事件流輸出到kafka隊列中，實作方式是在Agent-c上配置通道選擇器，配置為複制模式，複制一份相同的事件流到其它通道Sink3上，最終輸出到kafka隊列。
補充
以上圖例僅供參考，參考。。。
實際上，由于Source、Channel、SInk等元件都支援自定義實作，是以方案可以非常自由，我們可以自定義Sink元件，實作事件寫入到本地存儲系統的同時，寫入到kafka隊列中，隻有想不到，沒有做不到；
@Author 風一樣的碼農
@HomePageUrl http://www.cnblogs.com/chenpi/
@Copyright 轉載請注明出處，謝謝~