Kafka Connect學習

一、基礎介紹

1、概念

2、Debezium

為捕獲資料更改(change data capture,CDC)提供了一個低延遲的流式處理平台。可以消費資料庫每一個行級别(row-level)的更改。

隻有已送出的更改才是可見的，無需擔心復原，用持久化的、有副本備份的日志來記錄資料庫資料變化的曆史

捕獲資料更改(CDC)平台，并且利用Kafka和Kafka Connect實作了自己的持久性、可靠性和容錯性。

確定所有這些資料更改事件都能夠多副本并且總體上有序

所有的資料庫或者表的更改事件是按照上遊資料庫發生的順序被傳遞的

每個應用可以直接監控資料庫的更改，并且響應更改，無需使用消息總線

3、confluent：基于Kafka Connect技術，實作多種資料源格式導入導出的工具平台，組織管理來自不同資料源的資料

是kafka的企業版，内部包含了kafka、zookeeper、Kafka-rest（Confluent提供的Kafka RESTful接口服務元件）、Schema-Registry（對資料schema進行管理和序列化操作）、connect（用于連接配接Kafka與外部系統（如資料庫，鍵值存儲，檢索系統索引和檔案系統）的架構）、ksql-server（對資料進行查詢），在Kafka connect基礎上實作了多種常用系統的connector，用來管理群組織不同資料源的流媒體平台，可以實時地把不同源和位置的資料內建到一個中心的事件流平台。