Kafka檔案存儲機制那些事

Kafka是什麼

Kafka是最初由Linkedin公司開發，是一個分布式、分區的、多副本的、多訂閱者，基于zookeeper協調的分布式日志系統(也可以當做MQ系統)，常見可以用于web/nginx日志、通路日志，消息服務等等，Linkedin于2010年貢獻給了Apache基金會并成為頂級開源項目。

1.前言

一個商業化消息隊列的性能好壞，其檔案存儲機制設計是衡量一個消息隊列服務技術水準和最關鍵名額之一。

下面将從Kafka檔案存儲機制和實體結構角度，分析Kafka是如何實作高效檔案存儲，及實際應用效果。

2.Kafka檔案存儲機制

Kafka部分名詞解釋如下：

• Broker：消息中間件處理結點，一個Kafka節點就是一個broker，多個broker可以組成一個Kafka叢集。
• Topic：一類消息，例如page view日志、click日志等都可以以topic的形式存在，Kafka叢集能夠同時負責多個topic的分發。
• Partition：topic實體上的分組，一個topic可以分為多個partition，每個partition是一個有序的隊列。
• Segment：partition實體上由多個segment組成，下面2.2和2.3有詳細說明。
• offset：每個partition都由一系列有序的、不可變的消息組成，這些消息被連續的追加到partition中。partition中的每個消息都有一個連續的序列号叫做offset,用于partition唯一辨別一條消息.

分析過程分為以下4個步驟：

• topic中partition存儲分布
• partiton中檔案存儲方式
• partiton中segment檔案存儲結構
• 在partition中如何通過offset查找message

通過上述4過程詳細分析，我們就可以清楚認識到kafka檔案存儲機制的奧秘。

2.1 topic中partition存儲分布

假設實驗環境中Kafka叢集隻有一個broker，xxx/message-folder為資料檔案存儲根目錄，在Kafka broker中server.properties檔案配置(參數log.dirs=xxx/message-folder)，例如建立2個topic名稱分别為report_push、launch_info, partitions數量都為partitions=4

存儲路徑和目錄規則為：

xxx/message-folder

|--report_push-0
              |--report_push-1
              |--report_push-2
              |--report_push-3
              |--launch_info-0
              |--launch_info-1
              |--launch_info-2
              |--launch_info-3
           

在Kafka檔案存儲中，同一個topic下有多個不同partition，每個partition為一個目錄，partiton命名規則為topic名稱+有序序号，第一個partiton序号從0開始，序号最大值為partitions數量減1。

如果是多broker分布情況，請參考kafka叢集partition分布原理分析

2.2 partiton中檔案存儲方式

下面示意圖形象說明了partition中檔案存儲方式:

圖1
           

• 每個partion(目錄)相當于一個巨型檔案被平均配置設定到多個大小相等segment(段)資料檔案中。但每個段segment file消息數量不一定相等，這種特性友善old segment file快速被删除。
• 每個partiton隻需要支援順序讀寫就行了，segment檔案生命周期由服務端配置參數決定。

這樣做的好處就是能快速删除無用檔案，有效提高磁盤使用率。

2.3 partiton中segment檔案存儲結構

讀者從2.2節了解到Kafka檔案系統partition存儲方式，本節深入分析partion中segment file組成和實體結構。

• segment file組成：由2大部分組成，分别為index file和data file，此2個檔案一一對應，成對出現，字尾".index"和“.log”分别表示為segment索引檔案、資料檔案.
• segment檔案命名規則：partion全局的第一個segment從0開始，後續每個segment檔案名為上一個segment檔案最後一條消息的offset值。數值最大為64位long大小，19位數字字元長度，沒有數字用0填充。

下面檔案清單是筆者在Kafka broker上做的一個實驗，建立一個topicXXX包含1 partition，設定每個segment大小為500MB,并啟動producer向Kafka broker寫入大量資料,如下圖2所示segment檔案清單形象說明了上述2個規則：

圖2
           

以上述圖2中一對segment file檔案為例，說明segment中index<—->data file對應關系實體結構如下：

圖3
           

上述圖3中索引檔案存儲大量中繼資料，資料檔案存儲大量消息，索引檔案中中繼資料指向對應資料檔案中message的實體偏移位址。

其中以索引檔案中中繼資料3,497為例，依次在資料檔案中表示第3個message(在全局partiton表示第368772個message)、以及該消息的實體偏移位址為497。

從上述圖3了解到segment data file由許多message組成，下面詳細說明message實體結構如下：

圖4
           

參數說明：

關鍵字	解釋說明
8 byte offset	在parition(分區)内的每條消息都有一個有序的id号，這個id号被稱為偏移(offset),它可以唯一确定每條消息在parition(分區)内的位置。即offset表示partiion的第多少message
4 byte message size	message大小
4 byte CRC32	用crc32校驗message
1 byte “magic"	表示本次釋出Kafka服務程式協定版本号
1 byte “attributes"	表示為獨立版本、或辨別壓縮類型、或編碼類型。
4 byte key length	表示key的長度,當key為-1時，K byte key字段不填
K byte key	可選
value bytes payload	表示實際消息資料。

2.4 在partition中如何通過offset查找message

例如讀取offset=368776的message，需要通過下面2個步驟查找。

• 第一步查找segment file

  上述圖2為例，其中00000000000000000000.index表示最開始的檔案，起始偏移量(offset)為0.第二個檔案00000000000000368769.index的消息量起始偏移量為368770 = 368769 + 1.同樣，第三個檔案00000000000000737337.index的起始偏移量為737338=737337 + 1，其他後續檔案依次類推，以起始偏移量命名并排序這些檔案，隻要根據offset **二分查找**檔案清單，就可以快速定位到具體檔案。

  當offset=368776時定位到00000000000000368769.index|log

• 第二步通過segment file查找message

  通過第一步定位到segment file，當offset=368776時，依次定位到00000000000000368769.index的中繼資料實體位置和00000000000000368769.log的實體偏移位址，然後再通過00000000000000368769.log順序查找直到offset=368776為止。

從上述圖3可知這樣做的優點，segment index file采取稀疏索引存儲方式，它減少索引檔案大小，通過mmap可以直接記憶體操作，稀疏索引為資料檔案的每個對應message設定一個中繼資料指針,它比稠密索引節省了更多的存儲空間，但查找起來需要消耗更多的時間。

3 Kafka檔案存儲機制–實際運作效果

實驗環境：

• Kafka叢集：由2台虛拟機組成
• cpu：4核
• 實體記憶體：8GB
• 網卡：千兆網卡
• jvm heap: 4GB
• 詳細Kafka服務端配置及其優化請參考：kafka server.properties配置詳解

圖5                                 
           

從上述圖5可以看出，Kafka運作時很少有大量讀磁盤的操作，主要是定期批量寫磁盤操作，是以操作磁盤很高效。這跟Kafka檔案存儲中讀寫message的設計是息息相關的。Kafka中讀寫message有如下特點:

寫message

• 消息從java堆轉入page cache(即實體記憶體)。
• 由異步線程刷盤,消息從page cache刷入磁盤。

讀message

• 消息直接從page cache轉入socket發送出去。

• 當從page cache沒有找到相應資料時，此時會産生磁盤IO,從磁

  盤Load消息到page cache,然後直接從socket發出去

4.總結

Kafka高效檔案存儲設計特點

• Kafka把topic中一個parition大檔案分成多個小檔案段，通過多個小檔案段，就容易定期清除或删除已經消費完檔案，減少磁盤占用。
• 通過索引資訊可以快速定位message和确定response的最大大小。
• 通過index中繼資料全部映射到memory，可以避免segment file的IO磁盤操作。
• 通過索引檔案稀疏存儲，可以大幅降低index檔案中繼資料占用空間大小。

熬夜不易,點選請老王喝杯烈酒！！！！！！！