Oracle GoldenGate For Big Data - Kafka Handler

做者本人最近有需求處理Orace到Kafka的業務，因此就學習一下這一塊內容。隨手記錄，後續會再整理。

這是第一篇，關於ogg for big data的kafka處理,版本12.3.2.1

1. ogg到大數據有好多種handler。kafka的有兩個，一個是kafka handler，另外一個是kafka connect handler。後一種是conflut的一個功能組件，有興趣的能夠先去學習一下conflut，我這邊確定用不着，因此只介紹kafka handler.

2. 官方地址：https://docs.oracle.com/en/middleware/goldengate/big-data/12.3.2.1/gadbd/using-kafka-handler.html#GUID-2561CA12-9BAC-454B-A2E3-2D36C5C60EE5

請閱讀官方文檔。難理解的地方能夠在下面找答案。

3. 主要配置3個文件(在官方下載包中的/AdapterExamples/big-data/kafka路徑下有這三個文件)：rkafka.prm, kafka.props, custome-kafka-producer.properties.下面只解釋幾個難懂的點：

(1)rkafka.prm這個文件裏沒有難懂的點.

(2)kafka.props中topicMappingTemplate、keyMappingTemplate指的是寫入的topic和key，能夠寫死，也能夠配置成動態的。其中messgae key是用來kafka用來計算講數據存儲在哪一個分區的。另外，關於Catalog和Schema,各類數據庫系統對Catalog和Schema的支持和實現方式千差萬別，比較簡單而經常使用的實現方式是使用數據庫名做爲Catalog名，使用用戶名做爲Schema名，具體可參見下表：

供應商	Catalog支持	Schema支持
Oracle	不支持	Oracle User ID
MySQL	不支持	數據庫名
MS SQL Server	數據庫名	對象屬主名，2005版開始有變
DB2	指定數據庫對象時，Catalog部分省略	Catalog屬主名
Sybase	數據庫名	數據庫屬主名
Informix	不支持	不須要
PointBase	不支持	數據庫名

 

(3)custome-kafka-producer.properties沒有難點。