Kafka MirrorMaker 跨集羣同步工具

1、MirrorMaker介紹

MirrorMaker是Kafka附帶的一個用於在Kafka集羣之間製做鏡像數據的工具。該工具從源集羣中消費並生產到目標羣集。這種鏡像的常見用例是在另外一個數據中心提供副本。

 

圖1. MirrorMaker

對於遷移的topic而言，topic名字同樣， partition數量能夠不同，消息的offset會不同。

2、注意事項

1）whitelist和blacklist支持正則表達式。好比須要包含兩個topic能夠這樣寫，--whitelist 'A|B' or --whitelist 'A,B' ，或者想遷移全部topic能夠這樣寫 --whitelist '*'

2）注意在遷移以前建立好相關topic以及規劃好partition數量。

3）老版本和新版本遷移主要考慮consumer和producer的兼容性

4）若是容許的話，建議將MirrorMaker部署在目標集羣內，這是由於若是一旦發生網絡分區，消費者與源集羣斷開鏈接比生產者與目標集羣斷開鏈接要安全。若是消費者斷開鏈接，那麼只是當前讀取不到數據，可是數據仍然在源集羣內，並不會丟失；而生產者斷開鏈接，MirrorMaker便生產不了數據，若是MirrorMaker自己處理不當，可能會丟失數據。

5）開始以前配置好限流，防止影響原來集羣的正常工做。

3、進度監控

1） 檢測MirrorMaker提交到源集羣的位移。咱們可使用kafka-consumer-groups來檢測分區的最新位移以及MirrorMaker提交的位移，經過計算差值獲得落後間隔。

2） 查看Ckafka的Topic相關監控，查看當前進度