kafka 鏡像操做

kafka 提供了一個鏡像操做工具 kafka-mirror-maker.sh 用於將一個集羣中的數據同步到另外一個集羣中去。

kafka 鏡像操做工具的本質是一個消費者，從源集羣中待遷移的主題消費數據，而後建立一個生產者，將消費者從源集羣中拉取到的數據寫入目標集羣。

將 host 爲host1 的kafka環境中的主題名爲「test-mirror」的數據寫入到host爲 host2 的環境中：

　　1）：首先在源集羣中分別建立消費者和生產者啓動配置文件：

　　　　消費者配置文件 mirror-consumer.properties：

            bootstrap.servers=host1:9092　　#指源集羣的代理地址
            group.id=mirror　　　　#消費組名

　　　　生產者配置文件 mirror-producer.properties：

            bootstrap.servers=host2:9092    #指目標集羣的代理地址

　　2）：運行鏡像工具：

　　　　kafka-mirror-maker.sh --consumer.config ../config/mirror-consumer.properties --producer.config ../config/mirror-producer.properties --whitelist test-mirror

　　　　參數 --whitelist 指定要複製的主題，支持正則；

　　　　參數 --blacklist 指定不須要複製的主題；